【shell笔记>生信|专项】生信数据处理技能手札(1):实用命令与注意事项

Unix philosophy: Write programs that do one thing and do it well. Write programs to work together. Write programs to handle text streams, because that is a universal interface.

推荐shell版本为bash

2017.5.18

输入命令是千万要注意空格键,使用不当会产生严重后果,要操作处理的文件名不要用空格键分隔。

Adding -lrt to the ls lists files in directory in list format (-l), in reverse (-r) time (-t) order.如果想要最新的文件出现在前面,省略-r标识。

重导向标准错误:2> 将重导向标准错误到指定文件,2>>以追加形式而不是覆盖。

2017.5.19

The Golden Rule of Bioinformatics is to not trust your tools or data.

检查.fasta文件中的非核苷酸字符

grep -v "^>" filaname.fasta | \
grep --color -i "[^ATCG]"

​ 第一行代码移除移除标识符行,-v为移除; 第二行pattern排除ATCG核苷酸,-i选项以忽略大小写。

​ 注意碱基的IUPAC表示是合法的。

program1 input.text 2> program1.stderr | \
    program2 2> program2.stderr > results.txt

程序1处理输入文件后导入程序2处理,结果放到results.txt文件;相应的错误输出之相应记录文件。

如果要抓出错误记录文件中的error字段,以下方式可以将标准错误重定向标准输出流:

program1 2>&1 | grep "error"

使用tee命令拷贝标准输出流文件:

program1 input.txt | tee intermediate-file.txt | program2 > results.txt

进程操作

  • 后台运行,通过添加&标识符

    program1 input.txt > results.txt &
    [1] 26577
    

    会返回进行的ID或者PID。可以用jobs命令检查后台运行的进程,fg命令可以将进程放到前台。注意后台运行的工作关掉终端后会被杀死。把进程从前提放到后台,通过suspend命令然后使用bg命令。

  • topps命令查看进行,kill杀死。

  • 程序正常运行完成后返回状态0,否则非0。这有利于在shell中串接程序命令。shell的两个操作符&&以及||可以在此使用。

    例如程序2只有在程序1成功运行的情况下才执行

    program1 input.txt > intermediate-results.txt && \
      program2 intermediate-results.txt > results.txt
    

    程序2只有在程序1失败后运行

    program1 input.txt > intermediate-results.txt || \
      echo "warning: an error occurred"
    
  • 如果只是想连续运行两个命令,可以通过;分割符分开两个执行命令。

命令替换操作:例如我们创建一个目录mkdir results-$(date +%F),这个命令有用之处在于我们同样输入文件同样的处理结果可以贴上时间标签,以方便区分和查询。

存储常用命令——为命令取个别名:例如我编辑以下两个常用命令的别名。

alias mkpr="mkdir -p {data,scripts,output}"
wsx@wsx-ubuntu:~$ alias today="date +%F"
wsx@wsx-ubuntu:~$ today
2017-05-19

这样mkdir results=$(today)将创建一个日期标记的文件夹

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容

  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,127评论 2 34
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,580评论 18 139
  • 个人学习批处理的初衷来源于实际工作;在某个迭代版本有个BS(安卓手游模拟器)大需求,从而在测试过程中就重复涉及到...
    Luckykailiu阅读 4,675评论 0 11
  • Ubuntu的发音 Ubuntu,源于非洲祖鲁人和科萨人的语言,发作 oo-boon-too 的音。了解发音是有意...
    萤火虫de梦阅读 99,117评论 9 467
  • 部分内容转载自搜狗百科 cmd是command的缩写.即命令提示符(CMD),是在OS / 2 , Windows...
    青冥之上阅读 2,384评论 0 24