生信人的linux考试-生信技能树学习笔记

来源：http://www.bio-info-trainee.com/2900.html
解答视频：https://www.bilibili.com/video/av28813815/?p=17

一、在任意文件夹下面创建形如 1/2/3/4/5/6/7/8/9 格式的文件夹系列。

mkdir test
cd test
mkdir -p 1/2/3/4/5/6/7/8/9

二、在创建好的文件夹下面，比如我的是 /Users/jimmy/tmp/1/2/3/4/5/6/7/8/9 ，里面创建文本文件 me.txt

touch ./1/2/3/4/5/6/7/8/9/me.txt
tree
.
└── 1
    └── 2
        └── 3
            └── 4
                └── 5
                    └── 6
                        └── 7
                            └── 8
                                └── 9
                                    └── me.txt

三、在文本文件 me.txt 里面输入内容:
Go to: http://www.biotrainee.com/
I love bioinfomatics.
And you ?

vim ./1/2/3/4/5/6/7/8/9/me.txt
#按下i键，切换为插入模式，输入以下内容：
# Go to: http://www.biotrainee.com/
# I love bioinfomatics.
# And you ?
#上面的语句不用带“#”哟
#退出命令是，按 ESC 键跳到命令模式，然后输入 :q （不保存）或者 :wq （保存） 退出。
cat ./1/2/3/4/5/6/7/8/9/me.txt
Go to: http://www.biotrainee.com/
I love bioinfomatics.
And you ?

四、删除上面创建的文件夹 1/2/3/4/5/6/7/8/9 及文本文件 me.txt

rm --help #查看帮助文档
rm -rf 1

五、在任意文件夹下面创建 folder1~5这5个文件夹，然后每个文件夹下面继续创建 folder1~5这5个文件夹，效果如下：

linux_task2

mkdir -p folder{1..5}/folder{1..5}
ls *

六、在第五题创建的每一个文件夹下面都创建第二题文本文件 me.txt ，内容也要一样。(这个题目难度超纲，讲义一个月后再回过头来做)

echo folder{1..5}/folder{1..5} | xargs -n 1
echo folder{1..5}/folder{1..5} | xargs -n 1 cp me.txt -v
xargs --help

七，再次删除掉前面几个步骤建立的文件夹及文件

rm -rf folder*
tree

八、下载 http://www.biotrainee.com/jmzeng/igv/test.bed 文件，后在里面选择含有 H3K4me3 的那一行是第几行，该文件总共有几行。

wget http://www.biotrainee.com/jmzeng/igv/test.bed
ls -lh
#解法1
less -S test.bed
/H3K4me3 #按下回车
#解法2
vim test.bed
：set nu
:/H3K4me3
#解法3
grep -n H3K4me3  test.bed

九、下载 http://www.biotrainee.com/jmzeng/rmDuplicate.zip 文件，并且解压，查看里面的文件夹结构。

wget http://www.biotrainee.com/jmzeng/rmDuplicate.zip
ls -ll
unzip rmDuplicate.zip
cd rmDuplicate
tree

十、打开第九题解压的文件，进入 rmDuplicate/samtools/single 文件夹里面，查看后缀为 .sam 的文件，搞清楚生物信息学里面的SAM/BAM 定义是什么。

cd ./rmDuplicate/samtools/single/
less -S tmp.sam #最佳查看方式
cat tmp.sam
vim tmp.sam

十一、安装 samtools 软件

安装Miniconda3

mkdir -p ~/biosoft
cd ~/biosoft
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

2.设置conda镜像

source ~/.bashrc
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda
conda config --set show_channel_urls yes

3.调用conda 安装软件

conda install -y samtools

如果你对一个软件不了解的话，那么安装之前在https://bioconda.github.io/recipes.html，检索该软件包是否存在，或者使用 "conda search packagename"进行检索。

十二、打开后缀为BAM 的文件，找到产生该文件的命令。提示一下命令是：

/home/jianmingzeng/biosoft/bowtie/bowtie2-2.2.9/bowtie2-align-s --wrapper basic-0 -p 20 -x /home/jianmingzeng/reference/index/bowtie/hg38 -S /home/jianmingzeng/data/public/allMouse/alignment/WT_rep2_Input.sam -U /tmp/41440.unp

查看前5行

#cd rmDuplicate/samtools/single（路径）
tree
.
├── readme.txt
├── tmp.header
├── tmp.rmdup.bam
├── tmp.rmdup.vcf.gz
├── tmp.sam
├── tmp.sorted.bam
└── tmp.sorted.vcf.gz
zless -S tmp.rmdup.bam | head -n 5
BAM@@HD VN:1.0  SO:coordinate
@SQ SN:chr1 LN:248956422
@SQ SN:chr10    LN:133797422
@SQ SN:chr11    LN:135086622
@SQ SN:chr11_KI270721v1_random  LN:100316

十三题、根据上面的命令，找到我使用的参考基因组 /home/jianmingzeng/reference/index/bowtie/hg38具体有多少条染色体。

samtools view -H tmp.rmdup.bam | head -n 20
samtools view -H tmp.rmdup.bam  | awk '{print $2}' | sort |uniq -c| grep -v '_'
     1 ID:bowtie2
      1 SN:chr1
      1 SN:chr10
      1 SN:chr11
      1 SN:chr12
      1 SN:chr13
      1 SN:chr14
      1 SN:chr15
      1 SN:chr16
      1 SN:chr17
      1 SN:chr18
      1 SN:chr19
      1 SN:chr2
      1 SN:chr20
      1 SN:chr21
      1 SN:chr22
      1 SN:chr3
      1 SN:chr4
      1 SN:chr5
      1 SN:chr6
      1 SN:chr7
      1 SN:chr8
      1 SN:chr9
      1 SN:chrM
      1 SN:chrX
      1 SN:chrY
      1 VN:1.0

十四题、上面的后缀为bam 的文件的第二列，只有 0 和 16 两个数字，用 cut/sort/uniq等命令统计它们的个数。
因为数据不同，使用的数据统计如下：

samtools view tmp.sorted.bam | head
samtools view tmp.sorted.bam | awk '{print $2}' | sort | uniq -c
     29 0
     24 16
# 此外，我统计了 tmp.sam文件，代码如下：
zless -S tmp.sam | head -n 12
SRR1042600.42157053 0   chr1    629895  42  51M *   0   0   ATAACCAATACTACCAATCANTACTCATCATTAATAATCATAATGGCTATA CCCFFFFFHHHHHJJJJJJJ#4AGHJJIIJJIIIIIJJJJIJIIIIJJIJI AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:11C8A30    YT:Z:UU
SRR1042600.42212881 0   chr1    629895  42  51M *   0   0   ATAACCAATACTACCAATCANTACTCATCATTAATAATCATAATGGCTATA @@<FDFFBFDHHFJEIIGJI#3AFHGEHEIJIIGIIGGIJIIJIGIIGIIJ AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:11C8A30    YT:Z:UU
SRR1042600.12010763 16  chr1    629895  24  51M *   0   0   ATAACCAATACTTCTAATCAAAACTCATCATTAATAATCATAATGGCTATA ?4B?1*4DD?11*1*?+22+<3F:3@EC:CC4EA,DEDDDDD?D3B:==+; AS:i:-10XN:i:0  XM:i:4  XO:i:0  XG:i:0  NM:i:4  MD:Z:11C0A1C6T29    YT:Z:UU
SRR1042600.29629551 16  chr1    629895  40  51M *   0   0   ATAACCAATACTACCAATCACTACTCATCATTAATAATCATAATGGCTATA HGF?JJHHFDHHGJJIHDFA+E?JIJJIIHGJJJJJJJHHHHHFFFFFCC@ AS:i:-8 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:11C8A30    YT:Z:UU
SRR1042600.41910745 0   chr1    629896  42  51M *   0   0   TAACCAATACTACCAATCAANACTCATCATTAATAATCATAATGGCTATAG CC@FFFFFHHHHGIIHIJJJ#3<CFHCGGIIIJJJJJJJJIGGFHIIJFII AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:10C9T30    YT:Z:UU
SRR1042600.14329856 16  chr1    629896  8   18M1I32M    *   0   0   AAACCAAATCCTCCAATCAAATCCTCATCATTAATAATCATAATGGCTATA #############################@IHHGCE9GHFHHHDDDDD<@@ AS:i:-18    XN:i:0  XM:i:5  XO:i:1  XG:i:1  NM:i:6  MD:Z:0T6T0A2A9A28   YT:Z:UU
SRR1042600.15078214 16  chr1    629896  40  51M *   0   0   TAACCAATACTACCAATCAATACCCATCATTAATAATCATAATGGCTATAG 9?1EFDD4CE?1F@?F<HFA<<C+F9HBC<<FEBBC4GD<=+8DDDDA=;1 AS:i:-8 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:10C12T27   YT:Z:UU
SRR1042600.52533601 16  chr1    629896  40  51M *   0   0   TAACCAATACTACCAATCAATCCTCATCATTAATAATCATAATGGCTATAG D?0?*?1*?C?*EGC99>FA+3FBHBEBCA4HCC<:FFFFFF<DB?BD<@@ AS:i:-8 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:10C10A29   YT:Z:UU
SRR1042600.41649846 0   chr1    629897  42  51M *   0   0   AACCAATACTACCAATCAATNCTCATCATTAATAATCATAATGGCTATAGC :?=DB=ABCF?FF>G<<<?F#3<C?CFHE@91?GFFEGEEEDD<?FADBG> AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:9C10A30    YT:Z:UU
SRR1042600.68213884 16  chr1    629898  40  51M *   0   0   ACCAATACGACCAATCAATACTCAACATCAATAATCATAATGGCTATAGCA #@B?0)1)*19FEC<22<+<+3,33CA,+:>F<B?:@C<4:=,:DADD?<? AS:i:-8 XN:i:0  XM:i:3  XO:i:0  XG:i:0  NM:i:3  MD:Z:8C15T3T22  YT:Z:UU
SRR1042600.41495229 0   chr1    629899  42  51M *   0   0   CCAATACTACCAATCAATACNCATCATTAATAATCATAATGGCTATAGCAA CCCFFFFFHHHHHJJJJJJI#4AFHIJJIJJJJIJJIJJJIJIJIJJJJHG AS:i:-6 XN:i:0  XM:i:2  XO:i:0  XG:i:0  NM:i:2  MD:Z:7C12T30    YT:Z:UU
SRR1042600.14534938 16  chr1    629899  8   51M *   0   0   AATCTCCCCCAATTCAATACTCATCATTAATAATCATAATGGCTATAGCAA ######################GFIICJJGIIIIIGHF>GHGHFFFFF@@C AS:i:-16XN:i:0  XM:i:8  XO:i:0  XG:i:0  NM:i:8  MD:Z:0C0C0A0A1A2A1C1A38 YT:Z:UU

cat tmp.sam | awk '{print $2}' | sort | uniq -c 
     29 0
     24 16

十五题、重新打开 rmDuplicate/samtools/paired 文件夹下面的后缀为BAM 的文件，再次查看第二列，并且统计。

cd /test/rmDuplicate/samtools/paired
ls -ll
samtools view tmp.sorted.bam | cut -f 2|sort |uniq -c
      8 147
      3 163
      1 323
      1 353
      1 371
      1 387
      1 433
      3 83
      2 97
      9 99

十六题、下载 http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip 文件，并且解压，查看里面的文件夹结构，这个文件有2.3M，注意留心下载时间及下载速度。

wget http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip
unzip sickle-results.zip
cd sickle-results
tree
.
├── command.txt
├── single_tmp_fastqc.html
├── single_tmp_fastqc.zip
├── test1_fastqc.html
├── test1_fastqc.zip
├── test2_fastqc.html
├── test2_fastqc.zip
├── trimmed_output_file1_fastqc.html
├── trimmed_output_file1_fastqc.zip
├── trimmed_output_file2_fastqc.html
└── trimmed_output_file2_fastqc.zip

十七题、解压 sickle-results/single_tmp_fastqc.zip 文件，并且进入解压后的文件夹，找到 fastqc_data.txt 文件，并且搜索该文本文件以 >>开头的有多少行？

unzip single_tmp_fastqc.zip 
cd single_tmp_fastqc/
less -S fastqc_data.txt
cat fastqc_data.txt | awk '/^>>/{print $0}'| wc -l
24

十八题、下载 http://www.biotrainee.com/jmzeng/tmp/hg38.tss 文件，去NCBI找到TP53/BRCA1等自己感兴趣的基因对应的 refseq数据库 ID，然后找到它们的hg38.tss 文件的哪一行。
https://www.ncbi.nlm.nih.gov/gene/7157

cd ~/test
wget http://www.biotrainee.com/jmzeng/tmp/hg38.tss
head hg38.tssp NR_046018 hg38.tss

NR_046018   chr1    9874    13874   0
grep -n NR_046018  hg38.tss

十九题、解析hg38.tss 文件，统计每条染色体的基因个数。

cat hg38.tss|awk '{print $2}' |sort |uniq -c 
   6050 chr1
   2824 chr10
      2 chr10_GL383545v1_alt
     10 chr10_GL383546v1_alt
      2 chr10_KI270825v1_alt
.....
#去掉后面的碎片基因
cat hg38.tss|awk '{print $2}' | sort | uniq -c | grep -v '_'
   6050 chr1
   2824 chr10
   3449 chr11
   2931 chr12
   1122 chr13
   1883 chr14
   2168 chr15
   2507 chr16
   3309 chr17
    873 chr18
   3817 chr19
   4042 chr2
   1676 chr20
    868 chr21
   1274 chr22
   3277 chr3
   2250 chr4
   2684 chr5
   3029 chr6
   2720 chr7
   2069 chr8
   2301 chr9
      2 chrM
   2553 chrX
    414 chrY

二十题、解析hg38.tss 文件，统计NM和NR开头的熟练，了解NM和NR开头的含义

cat hg38.tss |awk '{print $1}'|cut -c 1-2 |sort| uniq -c
  51064 NM
  15954 NR

生信技能树公益视频合辑：学习顺序是linux，r，软件安装，geo，小技巧，ngs组学！
B站链接：https://m.bilibili.com/space/338686099
YouTube链接：https://m.youtube.com/channel/UC67sImqK7V8tSWHMG8azIVA/playlists
生信工程师入门最佳指南：https://mp.weixin.qq.com/s/vaX4ttaLIa19MefD86WfUA
生信技能树（爆款入门培训课）巡讲 https://mp.weixin.qq.com/s?__biz=MzAxMDkxODM1Ng==&mid=2247489185&idx=1&sn=2ad07decde5b709ed03d5c315bca0cb6&chksm=9b48561aac3fdf0c72e67aef29faa8e156a84be4f935b6585fffcaae6f186383decc96813f38&mpshare=1&scene=23&srcid=#rd
生信技能树 - 简书 https://www.jianshu.com/u/d645f768d2d5