linux 基础

# 列出 ~/training 目录内的文件
$ ls ~/training
code  data  data2  file  MPI  software

# -a, 列出 ~/training 目录内的所有文件，包含隐藏文件
$ ls -a ~/training
.  ..  code  .config  data  data2  file  MPI  software

# -l, 以长格式显示目录下的内容列表, 日常使用可以使用ll代替ls -l。
# 输出的信息从左到右依次包括文件名，文件类型、权限模式、硬连接数、所有者、组、文件大小和文件的最后修改时间等
$ ls -l ~/training
total 3
drwxr-xr-x  2 username usergroup 4096 Sep 17  2020 code
drwxr-xr-x  5 username usergroup 4096 Sep 23  2020 data
drwxr-xr-x  2 username usergroup 4096 Sep  6  2019 data2
-rw-r--r--  1 username usergroup   50 May 18 09:09 file
drwxr-xr-x  2 username usergroup 4096 Sep  6  2016 MPI
drwxr-xr-x 14 username usergroup 4096 Jun  3  2019 software

# -h, 打印大小，K表示千字节，M表示兆字节，G表示吉字节
$ ll -h
total 3.0K
drwxr-xr-x  2 username usergroup 4.0K Sep 17  2020 code
drwxr-xr-x  5 username usergroup 4.0K Sep 23  2020 data
drwxr-xr-x  2 username usergroup 4.0K Sep  6  2019 data2
-rw-r--r--  1 username usergroup   50 May 18 09:09 file
drwxr-xr-x  2 username usergroup 4.0K Sep  6  2016 MPI
drwxr-xr-x 14 username usergroup 4.0K Jun  3  2019 software


#-t, 用文件和目录的更改时间排序
ls -lt
total 3
-rw-r--r--  1 username usergroup   50 May 18 09:09 file
drwxr-xr-x  5 username usergroup 4096 Sep 23  2020 data
drwxr-xr-x  2 username usergroup 4096 Sep 17  2020 code
drwxr-xr-x  2 username usergroup 4096 Sep  6  2019 data2
drwxr-xr-x 14 username usergroup 4096 Jun  3  2019 software
drwxr-xr-x  2 username usergroup 4096 Sep  6  2016 MPI

# -r, 输出目录内容列表 
$ ls -lr
total 3
drwxr-xr-x 14 username usergroup 4096 Jun  3  2019 software
drwxr-xr-x  2 username usergroup 4096 Sep  6  2016 MPI
-rw-r--r--  1 username usergroup   50 May 18 09:09 file
drwxr-xr-x  2 username usergroup 4096 Sep  6  2019 data2
drwxr-xr-x  5 username usergroup 4096 Sep 23  2020 data
drwxr-xr-x  2 username usergroup 4096 Sep 17  2020 code

# –d, 仅显示目录名，而不显示目录下的内容列表。显示符号链接文件本身，而不显示其所指向的目录列表
# 注意-d和不加-d参数的区别
$ ls -ld software
drwxr-xr-x 14 username usergroup 4096 Jun  3  2019 software
$ ls -l software
total 221717
drwxr-xr-x  5 username usergroup      4096 Sep  6  2016 blast-2.2.31
drwxr-xr-x  5 username usergroup      4096 Sep  6  2016 bowtie2-2.1.0
-rw-r-----  1 username usergroup  15631689 Sep  6  2016 bowtie2-2.1.0-linux-x86_64.zip
drwxrwxr-x  5 username usergroup      4096 Sep  9  2016 bowtie2-2.2.6
drwxr-xr-x  5 username usergroup      8192 Sep  6  2016 hisat2-2.0.4
-rw-r--r--  1 username usergroup   3875287 Sep  6  2016 hisat2-2.0.4-source.zip

# -f, 不进行排序输出。ls默认会将所有文件名进行排序之后再输出。
# 当目录内文件数据量非常多时，如几千到几万个文件，ls会非常耗时，建议加上-f参数节省时间
$ls -f
.  ..  .config  code  MPI  software  file  data  data2

# 列出 data2目录下的文件
$ tree data2/
data2/
├── blast.bak.pbs
├── blast.e1692608
├── blast.lsf
├── blast.o1692608
├── blast.pbs
├── example.lsf
├── MH63_cds.fa
├── MH63_cds.nhr
├── MH63_cds.nin
├── MH63_cds.nog
├── MH63_cds.nsd
├── MH63_cds.nsi
├── MH63_cds.nsq
├── prosss.sh
├── ZS97_cds
└── ZS97_cds.fa

0 directories, 16 files

# 从当前目录切换到 '~/app' 目录
$ cd ~/app

# 从任何位置切换回用户主目录 '/home/User'
$ cd

# 回退上一个访问目录
$ cd -

# 返回上一级目录
$ cd ..

# 返回上上一级目录
$ cd ../../

# 使用相对路径，进入另一个目录"new directory"，这里 '\' 是转义符，将空格键正确转义
$ cd ../../../new\ directory

# 当不知道当前处于什么路径时，可以用这个命令显示
$ pwd
/public/home/username/training

# 在当前目录下创建新目录 new
$ mkdir new

# -p, 在当前目录下创建多级目录
$ mkdir -p newdir1/newdir2/newdir3/newdir4
$ tree newdir1/
newdir1/
└── newdir2
    └── newdir3
        └── newdir4

3 directories, 0 files

# 删除普通文件
$ rm file

# 删除当前目录的所有后缀是 '.sra' 的文件
$ rm *.sra

# -r, 参数删除目录
# 删除目录 'new' 以及 'new' 下的所有子文件与子目录
$ rm -r new

# -f, 不弹出删除确认提示，删除所有 '.tmp' 文件
$ rm -f *.tmp

# 将 'file' 改名为 'file1'
$ mv file file1

# 将 'file1' 移动到 'newdir'目录内
$ mv file1 newdir/

# 复制 'file1' 文件到目录 '~/newdir' 中
$ cp file1 ~/new

# -r 复制目录
# 复制 newdir 目录到用户目录下
$ cp -r newdir/ ~

# 创建空文件 'empty.txt'
$ touch emplty.txt

# 方便批量修改文件名

# 将 'seq.fasta' 更名为 'seq.fa'
$ rename seq.fasta seq.fa seq.fasta

# 将所有fasta文件更名为fa
$ rename fasta fa *fasta

# 去掉所有fa文件前缀
$ rename Osativa_323_v7.0.id_ '' *fa

# 查找一个文件，比如 /etc路径下的hosts文件
$ find /etc/ -name hosts

# 查找当前目录及子目录后缀为gz的文件
$ find . -type f -name "*.gz"

# 查找所有的 html 网页文件
$ find . -type f -regex ".*html$"

# 将所有 fasta 文件中序列名字包含node的改成seq
$ find . -type f -regex ".*fasta$" | xargs sed 's/NODE/Seq/g'

# 查找子目录深度为4层目录的fasta文件
$ find . -type f -maxdepth 4 -name "*.fasta"

# 查找/var/log路径下权限为755的目录
$ find /var/log -type d -perm 755

# 按照用户查找用户，在tmp路径下查找属于用户 nginx 的文件
$ find /tmp -user nginx

# 用户主home路径下查找属于 root 权限，属性为644的文件
$ find . -user root -perm 644

# 打印出系统带的 python 程序的路径
$ which python
/bin/python

# 为 '~/ref/ref.fa' 在当前目录下创建软连接
$ ln -s ~/ref/ref.fa ref.fa

# 如果需要软连接与源文件文件名相同，可以如下方式简写
$ ln -s ~/ref/ref.fa .

# 删除软连接时，文件名加了/表示将源文件一并删除，不加/表示只删除当前的软连接
# 删除软连接
$ rm ref.fa

# 删除源文件
$ rm ref.fa/

# 查看data目录的磁盘使用
$ du -sh data
14G     data

# home目录下运行下面的命令，查看各目录所占磁盘空间大小
$ du -h --max-depth=1
512     ./Desktop
8.1M    ./githup
132K    ./.ssh
45M     ./perl5
512     ./Videos

u User，即文件或目录的拥有者；
g Group，即文件或目录的所属群组；
o Other，除了文件或目录拥有者或所属群组之外，其他用户皆属于这个范围；
a All，即全部的用户，包含拥有者，所属群组以及其他用户；
r 读取权限，数字代号为“4”;
w 写入权限，数字代号为“2”；
x 执行或切换权限，数字代号为“1”；
- 不具任何权限，数字代号为“0”；
s 特殊功能说明：变更文件或目录的权限；
chmod u/g/o/a +/-/= r/w/x 文件或目录

# 给文件的User加上可执行权限
$ chmod u+x file

# 将目录共享给组用户
$ chmod g+rwx dir

# 取消文件的x权限
$chmod -x file

# 取消 home 目录的共享权限
$ chmod 700 ~

# 查看 home 目录权限
$ ll -d ~
drwx------ 30 username usergroup 8192 Sep 14 10:24 /public/home/username

# 打包压缩
$ tar -czvf data.tar.gz data

# 使用pigz多线程打包压缩，加快打包压缩速度；解压同理
$ tar -cvf data.tar.gz data -I pigz

# 解压
$ tar -xf data.tar.gz

# 查看但不解压
$ tar -ztvf

# 压缩文件
$ gzip reads.fq

# -d, 解压文件
$ gzip -d reads.fq.gz

#使用方式与gzip基本一致，-p参数可以使用多线程，加速文件压缩/解压
# 压缩文件
$ pigz -p 4 reads.fq

# 解压文件
$ pigz -p 4 -d reads.fq.gz

# 多线程打包压缩
$ tar cvf - dir | pigz -p 4 >dir.tgz
# 或
$ tar -czvf data.tar.gz data -I pigz

参考：https://wangchujiang.com/linux-command/c/wget.html

# 下载samtools
$ wget https://github.com/samtools/samtools/releases/download/1.3.1/samtools-1.3.1.tar.bz2 

# -c，断点续传
$ wget -c https://github.com/samtools/samtools/releases/download/1.3.1/samtools-1.3.1.tar.bz2

# -b，后台下载
$ wget -b https://github.com/samtools/samtools/releases/download/1.3.1/samtools-1.3.1.tar.bz2

# -o，日志文件
$ wget https://github.com/samtools/samtools/releases/download/1.3.1/samtools-1.3.1.tar.bz2 -o log

# ftp下载，需要用户名和密码
$ wget --ftp-user=USERNAME --ftp-password=PASSWORD url

# ftp 匿名下载，下载目录内所有文件
$ wget -c -r ftp://download.big.ac.cn/gsa/CRA004538

# -i，下载多个文件
$ wget -i filelist.txt
$ cat filelist.txt
url1
url2
url3
url4

# 从本地传到远端
$ scp file user@ip:/dir/

# 从远端传到本地
$ scp user@ip:/dir/file .

# -r，传输目录
$ scp -r dir  user@ip:/dir/

# -P，更改默认端口
$ scp -P 12345 file user@ip:/dir/

# -p，保留原文件的修改时间，访问时间和访问权限
$ scp -p file user@ip:/dir/

# 由于rsync在传输时会进行校验，因此当网络不稳定或文件数较多时，
# 可以使用rsync检验文件是否传完，以及跳过已经传输过的文件

# 同步本地目录dir1到本地目录dir2
$ rsync -avP dir1 dir2

# 同步本地目录dir1内的文件到本地目录dir2。注意dir1有无 "/" ，传输的文件有区别
$ rsync -avP dir1/ dir2

# 同步本地目录dir1 到远程目录dir2
$ rsync -avP dir1 user@ip:/dir2/

# 更改默认端口
$ rsync -avP -e 'ssh -P 12345' dir1 user@ip:/dir2/   

# 输出 'file' 文件的内容。一次输出文件全部内容，大文件请勿直接使用cat输出
$ cat file 
a b 1
c d 2
f g 4
s g 3

# -n, 带行号
$ cat -n file 
     1  a b 1
     2  c d 2
     3  f g 4
     4  s g 3

# -A, 打印特殊字符，比如换行符，制表键
$ cat -A file 
a b 1$
c d 2$
f g 4$
s^Ig^I3$

# tac, 逆序输出文件内容，即先打印文件最后一行
$ tac file
s g 3
f g 4
c d 2
a b 1

# 分屏输出文件内容，默认只输出一屏内容
# 敲回车键，一行行显示后面的内容；
# f键，翻页显示
# 空格键：向下翻一页
# pagedown：向下翻一页
# pageup：向上翻一页
# /字符串：向下搜索字符串；注意这个斜杠也是需要输入的，不是在 「:」输入，：也和这个是一个功能
# ?字符串：向上搜索字符串
# n：重复前一个搜索（与 / 或 ？有关）
# N：反向的重复前一个搜索
# g：前进到这个资料的第一行
# G：前进到这个资料的最后一行去（注意是大写）
# q：离开 less 这个程序

$ less ref.fa

# -S, 不自动换行。less默认输出内容超过屏幕宽度会自动换行
$ less -S ref.fa

# -N, 添加行号
$ less -N ref.fa

# 输出文件前5行内容
$ head -n 5 num 
1
2
3
4
5

# 输出除最后5行之外的内容
$ head -n -5 num
6
7
8
9
10

# 输出文件最后5行内容
$ tail -n 5 num 
6
7
8
9
10

# 输出文件前5行之外的内容
$ tail -n +5 num 
6
7
8
9
10

# 文件末尾有更新时，刷新更新内容
$ tail -f result

# 统计文件行数
$ wc -l num 
10 num

$ cat file1
1
2
3
4
5

$ cat file2
a
b
c
d
e

# 按列合并两个文件，输出内容默认使用\t作为列之间的分隔符
$ paste file1 file2
1   a
2   b
3   c
4   d
5   e

$ cat file3
1
11
101
40
22
55
33

# 默认按照ASII码排序，对数字的排序与我们直观映像不同
$ sort file3
1
101
11
22
33
40
55

# -n, 按数字大小排序
$ sort -n file3
1
11
22
33
40
55
101

# -h, 按人可读的方式排序
$ sort -h file4
100
1K
1M
1G

# -k, 按指定的列排序
# 以第3列的数字排序
$ sort -nk3 file
w u 0
a b 1
c d 2
s g 3

# --parallel, 多线程
$ sort --parallel=4 file

# -T, 指定临时目录，默认为/tmp目录。对超大文件排序时，需要指定到本地，避免/tmp写满
$ sort -T  ./mytem file

# -S, 指定内存。对超大文件需要限制内存使用，避免耗尽节点内存
$ sort -S 5G file

# -r, 逆序输出
$ sort -r

# 对genome.gtf文件先按染色体排序，然后再按位置排序
# sort -k1,4n  genome.gtf 达不到所需要的效果，正确使用如下
$ sort -k1,1 -k4,4n  genome.gtf

# 一般与sort 配合使用
# 显示重复行，并显示每个重复行的重复数
$ sort ref.fa |uniq -c
      1 >chr10
     99 NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN

# 显示 file1和file2 2个文件内容的不同之处
$ diff file1  file2

# 碱基替换
$ echo "atctcctt"|tr "atcg" "tagc"
tagaggaa

# 大小写转换
$ echo "hello world"|tr 'a-z' 'A-Z' 
HELLO WORLD

# 逆序输出
$ echo "hello world"|rev
dlrow olleh

# 碱基互补配对
$ echo "atctcctt"|tr "atcg" "tagc"|rev
aaggagat

# 将 'file' 文件拆分成10kb的小文件
$ split -b 10k file 

# 将 'file' 文件拆分成每个只有10行的小文件
$ split -l 10 file 

# -f 指定输出的列
# 输出文件第三列
$ cut -f2 genome.gff3|head -n5
gene
mRNA
mRNA
mRNA
mRNA

# -d 指定分隔符，默认为\t
# 输出csv文件的第三列
$ cut -d',' -f3 file.csv|head -n5

# 查找 'ref.fa' 文件中包含 "ACCC" 的行
$ grep "ACCC"  ref.fa

# -v, 输出不匹配的行
# 查找 'ref.fa' 文件中不包含 "ACCC" 的行
$ grep -v "ACCC"  ref.fa

# -i, 忽略大小写
# 查找 'ref.fa' 文件中包含 "ACCC" 的行，匹配时忽略大小写
$ grep -i "ACCC"  ref.fa

# -c, 统计行数
# 查找 'ref.fa' 文件中包含 "ACCC" 的行的行数
$ grep -c "ACCC"  ref.fa

# -e, 多模式匹配
# 查找 'ref.fa' 文件中包含 "ACCC" 或 "AGGG" 的行的行数
$ grep -e "ACCC"  -e "AGGG" ref.fa

# -w, 匹配整词
# 匹配 word 而不匹配 words
$ grep -w 'word' file

# 查找 'ref.fa' 文件中包含 "ACCC" 的行，以及这行的前2行和后3行
$ grep -A2 -B3 "ACCC"  ref.fa

# 打印文件 'file' 第3列
$ awk '{print $3}' file

# 提取文件 'file' 第1和3列，并用\t分隔
$ awk '{print $1"\t"$3}' file

# 打印文件 'file' 的倒数第二列
$ awk '{ print $(NF-1)}' file 

# 将 'file' 文件中第三列相加求和
$ awk 'BEGIN{a=0}{a+=$3}END{print "Sum = ", a}' file

# 求第三列的平均值
$ awk 'BEGIN{a=0}{a+=$3}END{print "Average = ", a/NR}' file

# 求第三列的最大值
$ awk 'BEGIN {max = 0} {if ($3>max) max=$3 fi} END {print "Max=", max}' file

# 求第三列最小值
awk 'BEGIN {min = 1999999} {if ($1<min) min=$1 fi} END {print "Min=", min}' file

# 将 'genome.gff3' 文件中代表基因的行打印出来
$ awk '{if($3 == "gene" ){print $0}}' genome.gff3

# 将 'genome.gff3' 文件中代表基因、位于正链、且序列长度小于1000bp的行打印出来
$ awk '{if($3 == "gene" && $7 == "+" && ($5 -$4)<1000 ){print $0}}' genome.gff3

# 将 'file' 中的 gene 字符全部替换成 GENE
$ sed 's/gene/GENE/g' file

# 给 'file' 中每个单词加个中括号[]
$ sed 's/\w\+/[&]/g' file

# 删除 'file' 第2行
$ sed '2d' file

# 删除 'file' 中的空白行
$ sed '/^$/d' file

# 删除 'file' 中所有开头是test的行
$ sed '/^test/'d file

# 从1行开始，每隔3行插入>，并以行号为序列ID
$ sed  '1~2 s/^/>\n/' example.fa|awk '{if($1 ~ />/){print $1NR}else{print $1}}' > example2.fa

# 由于windows和linux中文本的换行符不同，windows下创建的文本在linux下直接使用可能会出错，需要进行格式转换
# windows格式文本换行成unix格式文本
$ dos2unix file

# 打印输出压缩文件
$ zcat file.gz

# 查看压缩文件
$ zless file.gz

# 搜索压缩文件中含字符串 aaaccc 的行
$ zgrep aaaccc file.gz

# 查看当前系统运行的进程，每几秒刷新一次
# M 按进程使用内存排序
# c 查看进程的运行参数
# u 查看指定用户的进程
# q 退出
$ top
top - 09:13:17 up 129 days, 17:21,  1 user,  load average: 32.10, 27.60, 25.74
Tasks: 462 total,   9 running, 453 sleeping,   0 stopped,   0 zombie
%Cpu(s): 90.0 us,  5.5 sy,  0.0 ni,  4.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 39570169+total, 15617606+free, 23756960+used,  1956012 buff/cache
KiB Swap:  4194300 total,  2389376 free,  1804924 used. 15288067+avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                    
 55164 user1      20   0 1191524 667856   2284 S 774.8  0.2   9:26.29 hisat2-align-s                                                             
 18252 user2     20   0   22.8g  19.3g   1020 R 599.7  5.1   1458:45 overlapInCore                                                              
446439 user2     20   0   22.7g  19.2g   1020 R 599.7  5.1   2487:18 overlapInCore                                                              
  9442 user2     20   0   22.9g  19.3g   1020 R 599.3  5.1   1754:11 overlapInCore                                                              
 13186 user2     20   0   22.7g  19.2g   1024 R 599.3  5.1   1633:27 overlapInCore                                                              
 53033 user3       20   0   69.1g  67.9g   1948 R 100.0 18.0  14:23.56 fastlmmc                                                                   
 53415 user3       20   0   69.4g  68.4g   1956 R  99.7 18.1  12:31.07 fastlmmc       

# 输出系统所有进程
$ ps aux

# 根据cpu使用率进行排序
ps -aux --sort -pcpu | less   

# 根据内存使用来升序排序
ps -aux --sort -pmem | less   

# 杀死进程id(pid)为14234的进程
$ kill 14234

# 强制杀死进程，使用信号9
$ kill -s 9 14234

# 挂起进程，即让进程暂停运行，但不杀掉进程。使用信号19
$ kill -s 19 14234

# 恢复被挂起的进程，即让被暂停的进程恢复运行。使用信号18
$ kill -s 18 14234

# 杀死bwa进程
$ killall bwa

# 杀死用户username的所有进程
$ killall -u username

# 查找所有bwa进程，返回进程id
$ pgrep bwa
9442
13186
18252
446439

# 将bwa放前台运行
$ bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam

# CTRL-z挂起
$ ^Z
[1]+  Stopped                 bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam

# 放在后台
$ bg %1
  [1]+ bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam &

# 查看后台任务
$ jobs
[1]+  Running                 bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam &

# 将bwa放后台运行，即使远程ssh退出也不影响bwa运行
$ nohup bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam &

# 查看后台任务状态
$ jobs 
[1]   Running                 sleep 60 &
[2]   Running                 sleep 60 &

$ jobs
[1]   Done                    sleep 60
[2]   Done                    sleep 60

# 程序在前台运行了一段时间，在不杀掉程序重跑的情况下，将前台作业变为后台作业

# 不放在后台的命令
$ bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam

# CTRL-z挂起
$ ^Z
[1]+  Stopped                 bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam

# 放在后台
$ bg %1
  [1]+ bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam &

# 查看后台任务
$ jobs
[1]+  Running                 bwa mem -t 8 genome.fa read1.fq.gz read2.fq.gz | samtools sort -@8 -o output_sorted.bam &

# 再使用disown命令
$ disown -h %1

# 查看进程
$ ps -aux |grep bwa

# 在Screen环境下，所有的会话都独立的运行，并拥有各自的编号、输入、输出和窗口缓存。
# 用户可以通过快捷键在不同的窗口下切换，并可以自由的重定向各个窗口的输入和输出。Screen实现了基本的文本操作，如复制粘贴等；
# 还提供了类似滚动条的功能，可以查看窗口状况的历史记录。窗口还可以被分区和命名，还可以监视后台窗口的活动。 
# 会话共享 Screen可以让一个或多个用户从不同终端多次登录一个会话，并共享会话的所有特性（比如可以看到完全相同的输出）。
# 它同时提供了窗口访问权限的机制，可以对窗口进行密码保护。

# 新建名为bwa的session
$ screen -S bwa

# 列出所有的session
$ screen -ls

# 远程detach bwa的session
# 在当前这个screen窗口中时，可用ctrl+a ctrl+a 来detach当前session
$ screen -d bwa

# 回到bwa这个session
$ screen -r bwa

# screen配置
$ cat ~/.screenrc
# 显示状态栏，方便区分不同的screen session
hardstatus on
hardstatus alwayslastline
hardstatus string "%{= kw}%-w%{= kG}%{+b}[%n %S %t]%{-b}%{= kw}%+w %=[%Y-%m-%d %c]%{g}%{-}"
# 支持鼠标上下滚动
termcapinfo xterm ti@:te@

# 默认使用bash内置time命令，输出程序运行时间
$ time grep -f file.txt parttern.txt

real    3m3.760s
user    2m47.634s
sys     0m15.635s

# 也可以使用外部time程序 /usr/bin/time
# /usr/bin/time -v 输出各种资源消耗
# \time -v 也可以代替
# time -v 会报错
$ /usr/bin/time -v grep -f file.txt parttern.txt

# /usr/bin/time -f 可指定输出的资源，有多种选项可以使用
# 如 -f "%e %p %M" 可输出程序运行时间(s)、CPU使用占比、最大使用内存(kb)
$ /usr/bin/time -f "%e %P %M" grep -f file.txt parttern.txt
178.44 99% 17553368

# 可以使用alias改写time，或设置TIME环境变量设置time命令输出格式
$ alias time="$(which time) -f '%E real,\t%U user,\t%S sys,\t%K amem,\t%M mmem'"
0:16.89 real,   16.46 user, 0.38 sys,   0 amem, 458512 mmem

$ export TIME='%E real,\t%U user,\t%S sys,\t%t amem,\t%M mmem'
$ /usr/bin/time  grep -f file.txt parttern.txt > xxx
0:17.26 real,   16.79 user, 0.41 sys,   0 amem, 457092 mmem

# 查看/public目录磁盘使用情况
$ df -h /public
Filesystem               Size  Used Avail Use% Mounted on
public                   5.5P  4.3P  1.3P  78% /public

# 查看内存使用情况
$ free -g
              total        used        free      shared  buff/cache   available
Mem:             93          66          12           4          15          16
Swap:             0           0  

# 查看IP地址
$ ip a

$ lscpu 
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                40
On-line CPU(s) list:   0-39
Thread(s) per core:    2
Core(s) per socket:    10
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 85
Model name:            Intel(R) Xeon(R) Gold 5115 CPU @ 2.40GHz
Stepping:              4
CPU MHz:               2400.000
BogoMIPS:              4800.00
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              1024K
L3 cache:              14080K
NUMA node0 CPU(s):     0-9,20-29
NUMA node1 CPU(s):     10-19,30-39
Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc aperfmperf eagerfpu pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch epb cat_l3 cdp_l3 intel_ppin intel_pt mba tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm cqm mpx rdt_a avx512f avx512dq rdseed adx smap clflushopt clwb avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local ibpb ibrs stibp dtherm ida arat pln pts hwp_epp pku ospke spec_ctrl intel_stibp

# 查看系统版本, 也可使用 cat /etc/redhat-release。不同linux发行版本查看方式略有不同。
$ lsb_release -a
LSB Version:    :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-4.1-amd64:desktop-4.1-noarch:languages-4.1-amd64:languages-4.1-noarch:printing-4.1-amd64:printing-4.1-noarch
Distributor ID: CentOS
Description:    CentOS Linux release 7.5.1804 (Core) 
Release:    7.5.1804
Codename:   Core

$ cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core)

# 查看操作系统内存版本
$ uname -a
Linux localhost 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

# 查看系统运行时间和负载
$ uptime 
 11:11:42 up 69 days, 23:25, 200 usergroup,  load average: 6.10, 8.08, 6.46

# 查看系统负载、内存消耗、进程运行情况
$ top
top - 09:13:17 up 129 days, 17:21,  1 user,  load average: 32.10, 27.60, 25.74
Tasks: 462 total,   9 running, 453 sleeping,   0 stopped,   0 zombie
%Cpu(s): 90.0 us,  5.5 sy,  0.0 ni,  4.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 39570169+total, 15617606+free, 23756960+used,  1956012 buff/cache
KiB Swap:  4194300 total,  2389376 free,  1804924 used. 15288067+avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                    
 55164 user1      20   0 1191524 667856   2284 S 774.8  0.2   9:26.29 hisat2-align-s                                                             
 18252 user2     20   0   22.8g  19.3g   1020 R 599.7  5.1   1458:45 overlapInCore                                                              
446439 user2     20   0   22.7g  19.2g   1020 R 599.7  5.1   2487:18 overlapInCore                                                              
  9442 user2     20   0   22.9g  19.3g   1020 R 599.3  5.1   1754:11 overlapInCore                                                              
 13186 user2     20   0   22.7g  19.2g   1024 R 599.3  5.1   1633:27 overlapInCore                                                              
 53033 user3       20   0   69.1g  67.9g   1948 R 100.0 18.0  14:23.56 fastlmmc                                                                   
 53415 user3       20   0   69.4g  68.4g   1956 R  99.7 18.1  12:31.07 fastlmmc       

# 查看登录用户
$ who
user1    pts/0        2021-09-17 08:49 (192.168.1.31)
user2    pts/1        2021-09-16 11:51 (192.168.1.32)
user3    pts/2        2021-09-17 14:22 (192.168.1.33)
user4    pts/3        2021-09-17 18:22 (192.168.1.34)
user5    pts/5        2021-09-16 23:32 (192.168.1.35)
user6    pts/6        2021-09-17 17:38 (192.168.1.36)    

#!/bin/bash
if [$1 == "memory" ]
then
    free -m
else
    lscpu
fi

#!/bin/bash
for i in node{1..10}
do
    echo ${i}
    ssh ${i} "free -g"
done

#!/bin/bash
file=/etc/hosts
while read line
do
    echo ${line}
done < "$file"