【生信技能树】fa和fq格式文件的shell小练习

【生信技能树】fasta和fastq格式文件的shell小练习
这个是有机结合生物信息学的linux和数据格式的练习题：
下载bowtie2软件后拿到示例数据：

mkdir -p ~/biosoft
cd ~/biosoft
wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip 
unzip bowtie2-2.3.4.3-linux-x86_64.zip 
cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads

1)统计reads_1.fq 文件中共有多少条序列信息

$cat reads_1.fq | paste - - - - | wc -l
10000

2）输出所有的reads_1.fq文件中的标识符(即以@开头的那一行)

$grep -e '^@r' reads_1.fq #解法1
$awk '{if (NR%4==1) print}' reads_1.fq #解法2

输出reads_1.fq文件中的所有序列信息(即每个序列的第二行)

$awk '{if (NR%4==2) print}' reads_1.fq

4）输出以‘+’及其后面的描述信息(即每个序列的第三行)

$awk '{if (NR%4==3) print}' reads_1.fq

5）输出质量值信息(即每个序列的第四行)

$awk '{if (NR%4==0) print}' reads_1.fq

计算reads_1.fq 文件含有N碱基的reads个数

$awk '{if (NR%4==2) print}' reads_1.fq | grep 'N' |wc -l
6429

统计文件中reads_1.fq文件里面的序列的碱基总数

$awk '{if (NR%4==2) print}' reads_1.fq |wc -c
1098399

8）计算reads_1.fq 所有的reads中N碱基的总数

$awk '{if (NR%4==2) print}' reads_1.fq |grep -o 'N'|wc -l
26001

9）统计reads_1.fq 中测序碱基质量值恰好为Q20的个数

确定fastQ碱基质量值的类型；
根据碱基质量值类型计算Q20对应的数值，转换成ASCII码；
统计该ASCII码出现次数。

代码如下：

$ head reads_1.fq | \
  awk '{if(NR%4==0)printf("%s",$0);}'| \
  od -A n -t u1 | \
  awk 'BEGIN {min=100;max=0;} \
    { for (i=1;i<=NF;i++) \print
      {if ($i>max) max=$i; \
      if ($i<min) min=$i;} \
  } END \
  { if (max<=74 && min<59) print "Phred+33"; \
    else if (max>73 && min>=64) print "Phred+64"; \
    else if (min>=59 && min<64 && max>73) print "Solexa+64"; \
    else print "Unknown score encoding!";
  }'
Phred+33 #确定碱基质量值的类型，Q20对应的数值是20+33=53
$awk 'BEGIN{printf "%c\n",53}'
5 # 53对应的ASCII码是“5”
$awk '{if (NR%4==0)print}' reads_1.fq | grep -o 5 |wc -l
21369

参考：
【1】一行脚本判断你的fastq测序数据的质量编码方式
【2】浅谈FastQ和FastA格式

10）统计reads_1.fq 中测序碱基质量值恰好为Q30的个数
Q30对应的数值是30+33=63

$awk 'BEGIN{printf "%c\n",63}'
? # 63对应的ASCII码是“?”
$awk '{if (NR%4==0)print}' reads_1.fq | grep -o ? |wc -l
21574

11）统计reads_1.fq 中所有序列的第一位碱基的ATCGNatcg分布情况

$awk '{if (NR%4==2) print}' reads_1.fq rea| cut -b 1 | sort | uniq -c
2184 A
2203 C
2219 G
1141 N
2253 T

12）将reads_1.fq 转为reads_1.fa文件(即将fastq转化为fasta)

$awk '{if (NR%4==1||NR%4==2) print}' reads_1.fq | sed 's/@/>/g' > reads_1.fa

T12

统计上述reads_1.fa文件中共有多少条序列

$grep -c '>' reads_1.fa
10000

14）计算reads_1.fa文件中总的碱基序列的GC数量

$grep -v '>' reads_1.fa | grep -o '[CGcg]' | wc -l
529983

15）删除 reads_1.fa文件中的每条序列的N碱基

$sed 's/N//g' reads_1.fa > reads_1_NoneN.fa
-----验证-----
$cat reads_1.fa | paste - - | grep 'N' | sed 's/\t/\n/g' | head -2
$cat reads_1.fa | paste - - | grep 'N' | sed 's/\t/\n/g' | head -2 | grep 'N'
$head -2 reads_1_NoneN.fa
$head -2 reads_1_NoneN.fa |grep 'N'

r1含有N

在reads_1_NoneN.fa文件中的r1查找N，返回结果是空

16）删除 reads_1.fa文件中的含有N碱基的序列

$cat reads_1.fa | paste - - | grep -v 'N' | sed 's/\t/\n/g' > reads_1_NN.fa
$head -2 reads_1_NN.fa

在reads_1_NN.fa中r1序列被删掉了。

删除 reads_1.fa文件中的短于65bp的序列

$cat reads_1.fa | paste - - |awk '{if (length($2)>=65) print}' | \
 sed 's/\t/\n/g' > reads_1_morethan65.fa
-----验证-----
$cat reads_1.fa | paste - - |awk '{print(length($2))}' | \ 
 sort | uniq | awk '$2<65{print}' # 查看短于65bp的序列的长度分布情况
$cat reads_1.fa | paste - - |awk '{print($1,length($2)"\t"$2)}' | sed 's/\t/\n/g' > reads_1_length.fa #在标签后加上序列长度
$head -2 reads_1_length.fa 
>r1 122
TGAATGCGAACTCCGGGACGCTCAGTAATGTGACGATAGCTGAAAACTGTACGATAAACNGTACGCTGAGGGCAGAAAAAATCGTCGGGGACATTNTAAAGGCGGCGAGCGCGGCTTTTCCG
$cat reads_1_length.fa |paste - - | awk '$2<65{print}' |head -1 
>r9 55  CCCGATGCTTTTTGAAGTTCGCAGAATCGTATGTGTAGANAATTAAACAAANCCT
#查看第一个短于65bp的序列，是r9
$head -20 reads_1_morethan65.fa | tail -8 #查看reads_1_morethan65.fa文件
>r7
CCCCGCCACCATCCCGCCGGGCNTGTCCATATCGAGCAGAATGCTGTCCACCATCGGATCGCTGGCAGCCTGTTGCAGACGGGCGATAATGCCGTTGTAACCGGTCATCCCCGAGTACGGCTGCAGCGCCCGCGTCCGGCTGA
>r8
NTGAACAGTAAACGTCTGTTGAGCACATCCTTTAATAAGCAGGGCCAGCGCAGTATCNAGTAGCATATTTTTCATGGTGTTATTCCCGATGCTTTTTG
>r10
TTTTCCGGACACAGTTCCGGATGGTCAGCCCGAAGCACATCAGCAACCCGAACAATACCGGCGACAGCCGGAACTGCCGTTCCGGTGTGCAGATTAATGACAGC
>r11
TCGGNCGTCNNTNTGAAGCGGTTATAAATCTGCTCTTTCGCNGTATCCGTANCGATTTCGGTAAGGTAAACCCCG
#查看reads_1_morethan65.fa文件，r9已被删除

18）删除 reads_1.fa文件每条序列的前后五个碱基

$cat reads_1.fa |paste - - | awk '{dels=substr($2,6,length($2)-10);print($1"\n"dels)}'
-----验证-----
$cat reads_1.fa |paste - - | awk '{dels=substr($2,6,length($2)-10);print($1"\n"dels)}' | head -2 | tail -1 > r1_del.fa
$head -2 reads_1.fa |tail -1 > r1.fa
$grep -f r1_del.fa r1.fa

T18.png

19）删除 reads_1.fa文件中的长于125bp的序列

$cat reads_1.fa | paste - - |awk '{if (length($2)<=125) print}' | \ 
 sed 's/\t/\n/g' > reads_1_lessthan125.fa
-----验证-----
$cat reads_1_length.fa |paste - - | awk '$2>125{print}' |head -1 
>r2 275 NTTNTGATGCGGGCTTGTGGAGTTCAGCCGATCTGACTTATGTCATTACCTATGAAATGTGAGGACGCTATGCCTGTACCAAATCCTACAATGCCGGTGAAAGGTGCCGGGATCACCCTGTGGGTTTATAAGGGGATCGGTGACCCCTACGCGAATCCGCTTTCAGACGTTGACTGGTCGCGTCTGGCAAAAGTTAAAGACCTGACGCCCGGCGAACTGACCGCTGAGNCCTATGACGACAGCTATCTCGATGATGAAGATGCAGACTGGACTGC
#查看第一个长于125bp的序列，是r2
$head reads_1_lessthan125.fa
>r1
TGAATGCGAACTCCGGGACGCTCAGTAATGTGACGATAGCTGAAAACTGTACGATAAACNGTACGCTGAGGGCAGAAAAAATCGTCGGGGACATTNTAAAGGCGGCGAGCGCGGCTTTTCCG
>r8
NTGAACAGTAAACGTCTGTTGAGCACATCCTTTAATAAGCAGGGCCAGCGCAGTATCNAGTAGCATATTTTTCATGGTGTTATTCCCGATGCTTTTTG
>r9
CCCGATGCTTTTTGAAGTTCGCAGAATCGTATGTGTAGANAATTAAACAAANCCT
>r10
TTTTCCGGACACAGTTCCGGATGGTCAGCCCGAAGCACATCAGCAACCCGAACAATACCGGCGACAGCCGGAACTGCCGTTCCGGTGTGCAGATTAATGACAGC
>r11
TCGGNCGTCNNTNTGAAGCGGTTATAAATCTGCTCTTTCGCNGTATCCGTANCGATTTCGGTAAGGTAAACCCCG
#查看reads_1_lessthan125.fa文件，r2已被删除

20）查看reads_1.fq 中每条序列的第一位碱基的质量值的平均值

$awk '{if(NR%4==0)print}' reads_1.fq | cut -b 1| \
 awk 'BEGIN \
        {for (ii=0; ii<256; ++ii) \
          { ch=sprintf("%c",ii);ascii[ch]=ii;} \
        }\
      {tot+=ascii[$1]}\
      END{print tot/10000-33}'
16.3621
$/mnt/y/biosoft/FastQC/fastqc reads_1.fq

拿reads_1.fq跑了一下fastqc，可以看到第一位碱基的蓝线比16高一点点。答案应该没问题。

FastQC结果