跳转至

文件扫描

扫描大文本文件并压缩

扫描当前账号下，大于100M的文本文件，fq、fa、sam、vcf、bed等，将扫描出来的文件列表存放于filestxt_username_211124文件中。

bsub -n 5 -J scan -o filecan.out -e filescan.err "ls -d ~/* |xargs -I[] -P 5  find []  -size +100M -type f -exec sh ASCII.sh  {} \; >filetxt_username_211124"
从filestxt_username_211124中剔除需要保留的文本文件，将其余文件使用gzip就地压缩，gzip压缩不会改变文件的位置、时间等属性。

sam文件建议排序并转成bam或cram存放，如果已有对应的bam文件，sam文件直接删除即可。

fq的rawdata和cleandata只保留其中一份即可。

bsub -n 5 -J gzip -o filegzip.out -e filesgzip.err "cat filetxt_username_211124|awk '{print \$2}'|xargs -P 5 -i sh gzip.sh {} > filegzip_username_211124 2>&1"

#!/bin/sh
na=$1
ty=`file -b $1|xargs echo -n|cut -d" " -f 1`
si=`du -sm $1`
if [ $ty == ASCII ];then
echo $si
fi

#!/bin/sh
file=$1
if [ -f $file ];then
echo $file
gzip $file
fi

扫描所有大文件

扫描当前账号下所有大于100M的文件，建议不再使用的文件或从服务器下载备份或删除。

bsub -n 5 -J scan -o filecan.out -e filescan.err "ls -d ~/* |xargs -I[] -P 5  find []  -size +100M -type f |xargs du -sm >fileall_username_211124"
扫描当前账号下所有大于100M、文件修改时间大于90天的文件 
bsub -n 5 -J scan -o filecan.out -e filescan.err "ls -d ~/* |xargs -I[] -P 5  find []  -mtime +90 -size +100M -type f |xargs du -sm >fileall_username_211124"

文件数扫描

进入交互节点，查看当前目录下每个目录的文件数

find . -maxdepth 1 -type d -print0  | xargs -P 10 -0 -I{} sh -c 'printf "%s\t%s\n" "{}" "$(find "{}" -type f -print | wc -l)"'
本文阅读量  次
本站总访问量  次