Genozip

# 载入genozip
$ module load genozip/15.0.4

# 将license拷到自己的home目录下
# 执行一次即可，后续使用不用再执行
$ cp $LIC ~

# 或使用 --licfile 参数指定license位置
$ genozip --licfile $LIC

# 压缩
# -@4, 设置使用4个线程，默认使用所有CPU核
# --reference 使用参考基因组压缩，可以获得较高的压缩率，解压时需要指定参考基因组
# 第一次使用该参考基因组时，会在参考基因组相同目录生成一个后缀为 .genozip的文件，如下面的命令会生成 IRGSP-1.0_genome.fasta.genozip
$ genozip -@4 HW84_NDSW31815_1.clean.fq.gz --reference IRGSP-1.0_genome.fasta 

# 解压，解压时需要用到参考基因组，默认使用的参考基因组路径为压缩时使用的参考基因组，若该参考基因组路径发生变化则使用 --reference 参数指定
$ genounzip -@4 HW84_NDSW31815_1.clean.fq.genozip

# 压缩，使用--REFERENCE，输出文件中会包含部分参考基因组，解压时不需要指定参考基因组
$ genozip -@4 HW84_NDSW31815_1.clean.fq.gz --REFERENCE IRGSP-1.0_genome.fasta 

# 解压，不需要使用基因组
$ genounzip -@4 HW84_NDSW31815_1.clean.fq.genozip 
genounzip HW84_NDSW31815_1.clean.fq.gz : Done (32 seconds)  
$ 

# 将fq1和fq2压缩到一起，可以压缩到更小一点
$ genozip -@4 --reference IRGSP-1.0_genome.fasta --pair HW84_NDSW31815_1.clean.fq.gz HW84_NDSW31815_2.clean.fq.gz

# 解压
$ genounzip -@4 --reference IRGSP-1.0_genome.fasta HW84_NDSW31815_1+2.clean.fq.genozip

# 压缩
$ genozip -@4 HW84_NDSW31815_sorted.bam

# 解压
$ genounzip -@4 HW84_NDSW31815_sorted.bam.genozip

# 压缩
$ genozip -@4 --deep --reference IRGSP-1.0_genome.fasta HW84_NDSW31815_sorted.bam HW84_NDSW31815_1.clean.fq.gz HW84_NDSW31815_2.clean.fq.gz

# 解压
$ genounzip HW84_NDSW31815_sorted.deep.genozip

# 压缩
$ genozip -@4 HW84_NDSW31815_sorted.vcf.gz

# 解压
$ genozip -@4 HW84_NDSW31815_sorted.vcf.gz

testing: genounzip sample.R1.fq.gz : verified as identical to the original FASTQ

# FASTQ: 
$ zcat file.fastq.gz | md5sum

# BAM:    
$ zcat file.bam | md5sum

# genozip 压缩
$ genozip --md5 -@4 sample.R1.fq.gz --reference ref.fa

$ ll -h
-rw-r----- 1 user group 1.4G Apr 16 10:35 shoot_MH63_LTSD_rep1_trim_2.fq.genozip
-rw-rw-r-- 1 user group 3.2G Apr 16 10:46 shoot_MH63_LTSD_rep1_trim_2.fq.gz
drwxrwxr-x 2 user group 4.0K Apr 16 10:45 tmp

# 将原始 gz 文件放到 tmp 目录下
mv sample.R1.fq.gz tmp

# genozip 解压
$ genounzip -@4 sample.R1.fq.genozip

# 原始 fq 文件 md5
$ zcat tmp/sample.R1.fq.gz |md5sum 
e1ab55ea344b7b7440949f8bf19b172c  -

# 解压后 fq 文件 md5，可以看到两者md5一致
$ zcat sample.R1.fq.gz |md5sum 
e1ab55ea344b7b7440949f8bf19b172c  -

@Seq1/1
<seq1_read1>
+
<seq1_quality1>
@Seq1/2
<seq1_read2>
+
<seq1_quality2>
@Seq2/1
<seq2_read1>
+
<seq2_quality1>
@Seq2/2
<seq2_read2>
+
<seq2_quality2>
...

#!/bin/bash

ref=GRCh38_full_analysis_set_plus_decoy_hla.fa
study=mystudy
fastq=myfastqdir
mapped=mymappeddir

files=($fastq/*.genozip)

processed=1

while (( processed == 1 )); do
    processsed=0
    for file in ${files[@]}
    do
        sample=`echo $file | grep -o -E sample'[[:digit:]]{2}'`  # convert the file name to a sample name
        out=$mapped/${sample}.bam.genozip

        if [ -f $out ]; then continue; fi # already processed
        if [ -f ${out}.doing_now ]; then continue; fi # another instance of this script is working on it

        processed=1
        touch ${out}.doing_now

        echo =========================================
        echo Sample $sample
        echo =========================================

        ( genocat $file -e ${ref%.fa}.ref.genozip || >&2 echo "genocat exit=$?" )|\
        ( fastp --stdin --interleaved_in --stdout --html ${fastq}/${sample}.html --json ${fastq}/${sample}.json || >&2 echo "fastp exit=$?"   )|\
        ( bwa mem $ref - -p -t 54 -T 0 -R "@RG\tID:$sample\tSM:$study\tPL:Illumina" || >&2 echo "bwa exit=$?"     )|\
        ( samtools view -h -OSAM || >&2 echo "samtools exit=$?")|\
        ( bamsort fixmates=1 adddupmarksupport=1 inputformat=sam outputformat=sam inputthreads=5 outputthreads=5 sortthreads=30 level=1 || >&2 echo "bamsort exit=$?" )|\
        ( bamstreamingmarkduplicates inputformat=sam inputthreads=3 outputthreads=3 level=1                     || >&2 echo "bamstreamingmarkduplicates exit=$?" )|\
        ( genozip -e $ref -i bam -o $out || >&2 echo "genozip exit=$?" )

        rm ${out}.doing_now
    done
done

$ genocat sample_1+2.fq.genozip | bwa mem $ref - -p -t 20 -T 0 -R "@RG\tID:id\tSM:sample\tPL:Illumina" | samtools sort -@20 -o sample_sorted.bam