应用性能测试
集群主要有2种CPU,arm 128核;intel,64核,型号为 8358P。
hifiasm¶
基因组组装
https://github.com/chhylp123/hifiasm
hifi+ont+hic 组装
$ module load arm/hifiasm/0.19.9
$ time hifiasm -o ath.asm -t 128 --ul CRR302667.fastq.gz --ul-cut 500 --h1 CRR302669_R1.fastq.gz --h2 CRR302669_R2.fastq.gz CRR302668.fastq.gz
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 128(整节点) | 59796 | 6144573 | 77027 |
intel 8358P | 64(整节点) | 115400 | 6620428 | 65546 |
hifi 组装
$ module load arm/hifiasm/0.19.9
$ time hifiasm -o ath.asm -t 128 CRR302668.fastq.gz
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 16 | 28497 | 430202 | 41591 |
intel 8358P | 16 | 26689 | 430054 | 91667 |
原生 ARM 和 repack 包
$ export REPACK_EXTRA_OPTS='--bind /path/to/ath_data/ /data'
$ ./repack_ARM/hifiasm-0.19.8-aarch64-conda.rpk -- hifiasm -o ath4.asm -t 16 /data/CRR302668/CRR302668.fastq.gz
软件 | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
hifiasm | 16 | 28497 | 430202 | 41591 |
hifiasm-0.19.8-aarch64-conda.rpk | 16 | 28584 | 400963 | 91667 |
BWA¶
短序列比对
$ module load arm/bwa/0.7.18 arm/samtools/1.21
$ bwa mem -t 128 -R '@RG\tID:test146\tPL:illumina\tLB:library\tSM:humen146' hg38.fa ERR194146_1.fastq.gz ERR194146_2.fastq.gz |samtools sort -@ 128 -o $ERR194146_srt.bam"
CPU | 核数 | 运行运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 16 | 34082 | 519789 | 66291 |
arm | 128(整节点) | 7136 | 602206 | 259437 |
intel 8358P | 16 | 28999 | 458316 | 66132 |
intel 8358P | 64(整节点) | 10123 | 510047 | 129309 |
原生 ARM 和 repack 包
$ export REPACK_EXTRA_OPTS='--bind /path/to/WGS/ /data'
$ /share/home/software/tmp/repack_ARM/bwa-0.7.17-aarch64-openEuler20.03.rpk -- bwa mem -t 128 /data/hg38.fa /data/ERR194146_1.fastq.gz /data/ERR194146_2.fastq.gz > ERR194146.sam
软件 | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
hifiasm | 64(整节点) | 6557 | 586457 | 151514 |
hifiasm-0.19.8-aarch64-conda.rpk | 64(整节点) | 6655 | 597742 | 151157 |
hisat2¶
RNASeq短序列比对
https://github.com/DaehwanKimLab/hisat2
$ module load arm/hisat/2.1.0 arm/samtools/1.21
$ time hisat2 -p ${thread} -x genome -1 sample_1.fq.gz -2 sample_2.fq.gz | samtools sort -@${thread} -o sample.sorted.bam
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 128(整节点) | 378 | 3597 | 23351 |
arm | 16 | 371 | 3499 | 17031 |
intel 8358P | 64(整节点) | 499 | 29164 | 23153 |
intel 8358P | 16 | 288 | 4262 | 17070 |
GATK HaplotypeCaller¶
变异检测
https://github.com/broadinstitute/gatk
$ module load arm/gatk/4.6.0.0
$ gatk HaplotypeCaller --native-pair-hmm-threads $thread -R hg38.fa -L chr20 -I ERR194146_sort_redup.bam -O ERR194146_chr20_arm.vcf.gz
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 128(整节点) | 14458 | 14503 | 1938 |
arm(GKL优化) | 128 | 1476 | 10124 | 1938 |
intel 8358P | 64(整节点) | 1181 | 26289 | 1851 |
vg¶
泛基因组比对和变异检测等
$ module load arm/vg/1.60.0
$ time vg giraffe -p -t $thread -Z ref.giraffe.gbz -d ref.dist -m ref.min -f sampleid_clean_1.fq.gz -f sampleid_clean_2.fq.gz > sampleid.gam
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 128(整节点) | 222 | 25889 | 9771 |
arm | 16 | 1243 | 20284 | 5313 |
intel 8358P | 64(整节点) | 327 | 19687 | 7018 |
intel 8358P | 16 | 996 | 16260 | 5312 |
原生 ARM 和 repack 包
软件 | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
vg(1.60.0) | 128 | 222 | 25889 | 9771 |
vg-1.56.0-aarch64-conda.rpk | 128 | 194 | 22179 | 11437 |
STAR¶
RNASeq 短序列比对
https://github.com/alexdobin/STAR
$ module load arm/star/2.7.11b arm/samtools/1.21
$ STAR --genomeDir star_index/ --runThreadN 128 --readFilesIn CRR232282_f1.fastq.gz CRR232282_r2.fastq.gz --readFilesCommand zcat --outFileNamePrefix CRR232282 --outSAMtype BAM SortedByCoordinate --outBAMsortingThreadN $128
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 128(整节点) | 219 | 4424 | 39745 |
arm | 16 | 280 | 4176 | 23199 |
intel 8358P | 64(整节点) | 154 | 4852 | 30225 |
intel 8358P | 16 | 314 | 4768 | 23141 |
megahit¶
宏基因组组装
https://github.com/voutcn/megahit
$ module load arm/megahit/1.2.9
$ megahit -1 sampleid_clean_R1.fq.gz -2 sampleid_clean_R2.fq.gz -o out --presets meta-large --no-mercy --kmin-1pass -t 128
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 128(整节点) | 48623 | 4575263 | 69953 |
intel 8358P | 64(整节点) | 61315 | 3362805 | 70090 |
minimap2¶
三代长序列比对
https://github.com/lh3/minimap2
$ module load arm/minimap2/2.28 arm/samtools/1.21
$ minimap2 -ax map-pb -t 128 MH63.fa MH63WGS_all_subreads.fasta.gz |samtools sort -@128 -o MH63WGS_all_subreads.bam
CPU | 核数 | 运行时间(sec) | cputime | 最大内存(MB) |
---|---|---|---|---|
arm | 128(整节点) | 371 | 32222 | 89353 |
arm | 16 | 1974 | 31654 | 23143 |
intel 8358P | 64(整节点) | 452 | 25266 | 72995 |
intel 8358P | 16 | 1408 | 22713 | 23402 |
lammps¶
分子动力学模拟
https://github.com/lammps/lammps
参考 https://docs.hpc.sjtu.edu.cn/app/engineeringscience/lammps.html
运行时间越短越好
CPU | 核数 | 运行时间(sec) | cputime(sys) | 最大内存(MB) |
---|---|---|---|---|
arm(gcc+openmpi) | 64(单节点) | 198 | 12410(169) | 1012 |
arm(gcc+openmpi) | 128(单节点) | 98 | 12083(265) | 1360 |
arm(毕昇+hmpi) | 128(单节点) | 98 | 12402(74) | 13093 |
arm(gcc+openmpi) | 128(4节点) | 194 | 10985(3883) | 1360 |
arm(gcc+openmpi) | 256(2节点) | 103 | 8587(4172) | 1114 |
arm(毕昇+hmpi) | 256(2节点) | 53 | 6768(274) | 14188 |
arm(gcc+openmpi) | 512(多节点) | 96 | 5067(3272) | 642 |
arm(毕昇+hmpi) | 512(4节点) | 33 | 4173(196) | 13942 |
gromacs¶
分子动力学模拟
https://github.com/gromacs/gromacs
参考 https://docs.hpc.sjtu.edu.cn/app/engineeringscience/gromacs.html
单位:ns/day,越高越好
核数 | 64(单节点) | 128(单节点) | 256(2节点) | 512(4节点) |
---|---|---|---|---|
arm(gcc+openmpi) | 10.160 | 18.745 | 16.256 | 跑出错 |
arm(毕昇+hmpi) | 10.418 | 18.993 | 36.542 | 62.094 |
本站总访问量 次