用户资源限制

计算资源限制¶

系统对每个用户提交的作业数无限制，每个用户所有正在运行的作业同时使用的CPU核心总数限制白天为400核，夜间10点至第二天早晨6点为400核。

每个队列的内存、可用核数、用户限制略有不同，具体见 作业队列划分。

集群运行过程中，根据实际情况会略有调整，具体每个队列资源定义和限制，可使用bqueues -l 队列名 查看。

根据集群使用情况，当集群计算资源非常紧张时，可能会适当调低每个人最多能同时使用的CPU核心总数。

存储资源¶

目前对每个新用户所能使用的存储空间限制为10TB，有需要可以逐步调高到20TB，文件数限制为300万，课题组总的存储空间限制为400TB，任何一项超过阈值时，账号无法写入数据。当系统总的存储使用过高时会通知大家清理数据。

查看账号存储使用¶

用户可使用diskquota 命令查看当前存储使用量和配额，避免写满。特别是当有产生大量中间文件和结果文件的作业运行时，需时时关注，及时清理，以免超过配额。由于海量的小文件（小于128KB）会对存储系统性能有一定影响，因此大量小文件使用完之后需要即使删除或者打包压缩存放。

如下，当前的存储使用量为17.55TB，存储配额为20TB；账号下文件数据量为2145851，文件数配额为8000000；

$ diskquota 
Filesystem type         blocks      quota      limit   in_doubt    grace |    files   quota    limit in_doubt    grace  Remarks
public     USR          17.55T        20T        20T     108.1G     none |  2145851  8000000  8000000     2966     none 

$ diskquota 
Filesystem type         blocks      quota      limit   in_doubt    grace |    files   quota    limit in_doubt    grace  Remarks
public     USR          43.74T        20T        20T          0   7 days |  9890452 17500000 17500000        0     none 
$ cp  data/NT/taxdb.btd.gz  .
cp: error writing ‘./taxdb.btd.gz’: Disk quota exceeded
cp: failed to extend ‘./taxdb.btd.gz’: Disk quota exceeded

申请增加配额¶

如果因有较大项目需要大量存储时，可向管理员申请增加存储配额。在向管理员申请增加配额之前，需要先做以下几步：

• 先扫描账号下所有 大于100M的文本文件，将其中的fastq、fasta、sam、vcf、hmp、txt、csv等需要保留的文件进行压缩，将其它不需要的中间文件、日志文件等删除；然后再扫描大于100M的所有文件，时间较长的原始数据、程序运行的中间文件、冗余的bam文件等都可以删除，冗余数据的压缩清理见 数据使用规范。这2步清理完成之后再扫描大于100M的所有文件，扫描的结果发给管理员。扫描方式参考 文件扫描；

• 所有暂时不用的大批量fastq、bam、vcf等文件，需使用 genozip 压缩；

• 测试运行一个样本，并告知管理员中间数据和结果数据的路径，以及总的原始数据的大小、样本数量和运行脚本，以便管理员评估所需存储空间；