集群硬件资源¶

计算资源¶

本集群在2018年新购置的联想集群基础上，将2014年购置的曙光集群并入其中，共计2个管理节点，4个登陆节点，155个刀片计算节点，2个GPU节点，6个八路胖节点，各节点详细硬件配置如下：

存储资源¶

本集群公共存储采用联想DSS高性能存储（IBM ESS同架构），文件系统采用HPC行业广泛使用的IBM GPFS （现名为 IBM Spectrum Scale）文件系统。

公共存储硬件由2套DSS存储组成，每套DSS存储含2台IO节点和6台84盘位磁盘柜，总计4台IO节点，12台磁盘柜，1000余块8TB硬盘。所有硬盘由GPFS文件系统管理，采用了GPFS Declustered RAID冗余策略，实现了8+2数据冗余,并具有统一的用户映像（即所有硬盘由文件系统虚拟成一个data pool，可挂载在单一目录下），实测存储读写带宽达50GB/s。系统挂载目录为/public，可用容量约为5.5PB（1PB=1024TB）。

部分课题组采购了存储硬件挂载集群上，相应课题组的用户可直接使用。这部分的存储性能不及公共存储，如有大规模对存储IO要求较高的作业，建议在公共存储上进行。

存储使用注意事项：为了平衡存储的性能和利用率，GPFS配置的 sub block size（硬盘空间分配的最小尺寸）为128K，即比较小的文件（十几KB，几十KB），其占据的硬盘空间为128KB，因此对于比较小的文件（如解压后的软件源码包等）建议及时删除，减少磁盘空间浪费。

网络资源¶

集群存储节点、计算节点、以及登录节点之间用2套网络进行互联。

存储网络：采用56Gbps的Infiniband网络，存储网络和计算网络采用同一网络；

管理网络：采用千兆以太网，主要用于集群各节点间互联及管理系统；BMC硬件管理网络复用管理网络。

内网网络：登录节点login03配备了内网万兆光纤，直连到二综B座的生物信息室（B111）及附近的办公室，以便于大量数据的上传下载（速度可达100MB/s）。有大量数据传输的用户可联系B111的同学或者管理员帮忙。实验室测序平台测序仪也通过内网直连集群，测序仪下机数据如在本集群存储和分析，可由测序平台负责人直接将其上传到相应目录后再由用户拷贝到自己的账号下分析，避免使用移动硬盘来回拷贝，节省时间。