1129 转录组分析 B站up主天马行空的坦克兵 (讲解清晰易懂)
技能1
奶牛快传软件,迅速将几个G文件从服务器下载到本地。(这个软件文件本身就有测试文件等等,有多少文件就有多少个二进制码)
首先利用conda install cowtransfer-uploader (下载软件)
which cowtransfer-uploader
cowtransfer-uploader(直接输入软件名,无需-h,直接查看帮助文档)
下载文件(直接下载与后台下载)
cowtransfer-uploader 文本文件测试,神奇竟然会出一个Short download code代码(如936945六位数密码),在进入cowtransfer.com在线网站,输入代码就可以获取进行下载)---只能24h保存,否则需要会员
nohub cowtransfer-uploader id &(挂在后台下载) 那六位数随机密码,只能通过tail -f nohup.out进行查看,再进入cowtransfer.com在线网站下载
下载文件夹(直接下载与后台下载)
nohup cowtransfer-uploader ./test & 六位数随机密码,只能通过tail -f nohup.out进行查看,再进入cowtransfer.com在线网站下载
加快速度,可以运用提升线程nohup cowtransfer-uploader -p 5 ./test (5个线程)
同样可以在前台进行下载。
文件夹中含有多个文件,不同文件会产生不同六位数随机码,那如何获得这些随机码呢
tail -f nohup.out(会产生相应文件的码),那怎么在线下查看六位数随机码呢?可以通过下载运行结果nohupt.out。同样用奶牛快传的方式下载,然后用记事本打开txt格式查看。打开后,全部选中,按编辑键,查找(code),按查找下一个便能获得相应的码了。
技能2
奶牛快传软件,快速将本地文件上传至服务器
两种方式:方式1 直接通过软件(up主是用fz,我用WINscp)将本地文件拖到服务器具体目录下(远程站点)1G 50min
方式2: 直接打开奶牛快传网站上传文件,上传完成后,保留71个小时,具有六位数取件码与下载链接。直接复制下载链接,上传服务器上奶牛快传 ,cowtransfer-uploader 复制下载链接(浪费老子一个百度网盘会员,哎,直接奶牛快传就行)
技能3
利用conda安装mira
先去conda官网看看conda安装mira的命令 mira是一个很好的序列拼接软件
MITObim软件(线粒体基因组组装软件)
技能4 R中批量进行ID转换与注释(完美*****)(技能4也必须完全掌握)
****其实Linux主要就是从原始数据获得差异基因的过程,而R语言要做的就是对差异基因进行统计与可视化的过程(《太愚蠢了,之前一直没把Linux系统与R语言区分开》)。。。。-lj。
示例Rat中找到ENSRNOG***对应的基因,多个ENSRNOG***又该如何处理
技能5.1:使用DAVID在线工具进行基因ID转换 (网址:david.nicfcrf.gov)---直接上传就行,将Geen ID转换为Geen Symobol,设置种属为大鼠,一步完成。 可以下载文本文档,下载后直接拖入Excel当中,就能查看所有ID对应的基因名了。(很多有需要的地方就有在线网站)
技能5.2 使用DAVID进行GO与KEGG分析
点击shortcut to DAVID Tools -----functional annotation chart ---方框中输入基因ID号,选中ID号类型(ENSYMLE gene ID--- 提交
点击Clear all进行全部清除 (选中GO中常用的BP CC 与MF)以及Pathway中的KEGG通路---筛选注释的联合查看采用Functional Annotatiin Chart(列表的形式)---换页直接下载列表,Ctrl+A全选,Ctrl+C复制到一个新建的文本文档中,然后将文本文档拖入Excel文件中就能打开。((神奇,很多有需要的地方就有在线网站))
技能6 如何分析小众的illumina公司的beadArray芯片(分析向导)---存在相应的R包进行处理
R中含有beadarry的包(包含三个小包)
首先安装包---BiocManager::install(“beadarry”)
针对安装报错表明的包与R语言版本不符(包太旧了),up主采取了对单个包一个一个更新的方法。
---BiocManager::install(“beadarry”)
技能7 R语言如何加载beadArray包时需要更新rlang包
更新方式
[if !supportLists](1. [endif]命令行更新2.在R右下侧的标题栏中点击package,再点击update更新(这种效果不行) 3.直接下载新版本rlang包解压到R/library (可以尝试下,替换旧包)4.删除旧的包,再次安装该包(换)----其实这四种方法就是这几个角度而已,最关键的是一定要找到思考的角度),,推荐方法4,直接删了,再下或者方法1。再加载.---版本不匹配时所有的包整体其实也就是这么几种方式。
Library (beadarry)
技能8 详细讲解更新R&R studio 软件与程序包(如何完美更新)---选择镜像基于你离哪里近
1 install.packages(“installr”) library (installr) updateR()
2 更新R时,命令报错,找不到新的R包,Rstudio中直接选中Tools-----Global options---General---change R installations(由4.0.3更改成4.0.4),如何选择相对应的文件,在哪选哪,之后点击ok就行。设置完成之后,重新打开Rstudio就会编程4.0.4.
Rstuio是依赖于R的,所有的R包也是依赖与R的。只更新R的话,R包与Rstudio不会直接由旧的R包迁移到新的R包中。解决方法:将旧版本R中library中的R包全部复制到新版本R的library中。
clusterprofiler这个包挺好用的,功能特别强大,可以做GO下游分析。但是这个包比较难安,如果实在安装不上,可以一个一个的安装其依赖包;或者直接将这个包下载下来,放置到本地R的library文件夹中。
技能9 BioManager安装包更新报错,R语言出现这种情况,就得更新吗? Bioconductor version 3.11(BiocManger 1.30.10),R(4.0.3)
技能10 移动磁盘分区
首先打开我的电脑--- 磁盘管理-- 压缩卷--200G---新建简单卷---下一步---下一步(up主分从E中分出了一个200G的新压缩卷F)---关了,点击查看磁盘内容就可以看见新的磁盘F了
技能11 百度网盘在Linux中传输大数据(奶牛快传收费了,我就用百度网盘了)
在Linux中传输大数据 1.安装 2.使用
找到conda官网(anaconda.org/conda forge/pip(这是这个软件的具体位置))---输入bypy检索官方代码---复制其中一条安装代码进入服务器进行安装(conda install -c condaforge pip)
pip install bypy==1.6.10(安这个固定版本,能够避免出现MD5值不正确的问题)
安装了之后,还是需要授权使用
bypy info(第一行是链接,第二行是授权,授权码在10min内有效;将链接复制到浏览器,复制授权码,输入复制的授权码之后,按Enter键进行确认,就会弹出百度网盘的容量以及允许你使用的权限)
技能12 用低配win10做WGCNA(加权共表达网络分析)提示“无法分配大小为**的矢量”,C盘爆了
终止代码后,尝试清理C盘
爆了的原因:作者想复现简书中《WGCNA实例分析及解读》一文中第7点的图,(图的作者随机选择400个基因画拓扑重叠热图,图中行和列都表示单个基因,深黄色和红色表示高度的拓扑重叠),然而作者直接选了5000个基因绘制拓扑热图,半小时都不动,终止命令之后,C盘爆满,只能进行清理。(血的教训,不能选太多,要选的话去服务器上选或者网吧吗(为什么我突然笑了*^____^*))
R中 gc(TURE) 提升R语言程序性能
技能13 安装Xshell (Xshell7中文版迅雷下载)
*****值得反复观看
注意:1.up主的电脑文件管理习惯有条不紊,好好借鉴以下,非常具有逻辑性。这个视频认真反复看,并且学习作者的文件下载与管理命名习惯。
2.作者解决问题的思路一定要借鉴(行与不行,不行怎么办)。
中文版作者下了个假的,于是又去官网下载了一个试用版本,下载完之后,压缩exe安装,选择安装位置进行安装。安装之后需要许可证,于是作者来了个申请。
下载不了Xshell7,作者搜索了Xshell7的替代品Finalshell,直接搜,作者没有搜到,于是作者去知乎找大神了,大神一般都会提供链接。
技能14 安装Xshell的替代品MobaXterm(号称全能终端神器)
官网找到免费版,下载,安装,以及up主展示了MobaXterm的使用方法
技能15 MobaXterm的基础设置,包括字体、字号、主题颜色以及传输文件等基本操作
相较于Xshell的优势在于,MobaXterm本身1.就能上传文件以及2.自身就带有颜色(无需代码传送)此外,3.其还会显示内存量,上传下载网速等
(MobaXterm还是比较有优势的,访问服务器有以上三点优势)
技能16 Error can’t allocate vector of size 18.5MB&R的分配内存不够用了(作者展示了搜索得到的这个问题的解决方式,没有进行具体解决)
技能17 tar命令解压缩报错
tar -zxvf ssr1.fastq.gz(tar命令解压缩失效) gzip -d ssr1.fastq.gz(gzip解压缩生效)
1 tar -zcvf test1.gz test1/ (压缩文件夹) 2 rm -r test1 3.tar -zxvf test1.gz(解压缩文件夹)
4 gzip -d ./*.gz (解压缩当前文件夹下任何以gz结尾的文件)
5 tar -zcvf ./srr*.gz (这样并不能压缩任何以gz结尾的文件,相反其会创造这么一个文件)
****重点思考:通配符的使用问题,怎么样使tar命令既能压缩任何相应文件,也能解压缩相应的文件(查询一下,常用通配符的使用方式),gzip -d解压缩也挺好用的
技能18 无声演示--点击Rstudio关闭按纽无法退出,三秒帮你搞定
同时按shift + ctrl +ESC三键启动任务管理器,关闭R studio软件。
技能19 带小白安装R与Rsrudio(作者演示了进入官网,下载相应系统的R,安装位置与使用条款同意说明)Rstudio安装同上
技能20 多种方法安装R包(调用:library,第一次加载显示,第二次加载不显示)
法1 直接在R上方的package中---先set CRAN mirrors ---再点击install packages
法2 install.packages(“limma”)
法3 BiocManager::install(“limma”) (依托Bioconduct包进行安装)
自身总结:所谓的几种下包方法,主要是一在软件上可以直接点;二可以下载到本地然后加载进去三用简单的命令去下四依托其他包进行下载(依托有些专门下载软件的包,直接还会给你配置号环境,相对而言更加便利。)
Ctrl 加上+号能够调大字体 (R语言中调大字体的方式,还可以根据自己的需要设置快捷键)
技能21 安装Biocmanager包
BiocManager::install()
if (!requireNamespace(“BiocManager”, quietly = TRUE)) # (如果有BiocManager则不要求位置空间去安装)
Install.packages(“Biocmanager”) ##否则就安装BicManager这个包。
BiocManager::install()
BiocManager::install(c(“GenomicFeature”,”limma”)) (一次性安装多个包,多个包的安装就需要c())
***要学会并且善于多看官网信息,而非简单的死记硬背别人安装了什么包,要知其然还要知其所以然。
技能22 剑走偏锋安装clusterProfiler
法一:进入www.bioconductor.org网址,检索需要的版本,需要下载的代码---假设此代码报错。。。因为这个包很大,需要依附很多包,所以比较难安。如果报错缺包不能安装,直接加载相应缺的包也行。
法二:直接下载到本地,解压缩,然后复制到本地R的library文件中去,直接替换或者同意,然后library()加载一下也行。
技能23 总结CentOS(腾讯云)上安装R方法&走过的坑(上)
Rstudio-sever方法和走过的坑。
yum install -y r yum(yellow dog manager),是一个给予rpm包的管理器,yum能够自动解决包的依赖关系,从而把我们从繁杂的包管理中解放出来,目前应用yum的系统主要有 redhat,centos,Fedora等等,和yum相对应的另一个包管理器是apt(主要是ubuntu等发行版使用)。
fiel /bin/ls查看系统配置(查看系统位数)
为什么要用yum呢,不是有conda吗?
简单总结一下;这个yum其实本质上还是基于后端软件包管理工具的,实际上更像个包工头,有他来指挥工人(后端工具)干活,就不用业主操心了
技能24 对腾讯云服务器重装系统(就是单纯的演示了操作,意义上仅仅是因为在服务器上系统乱了吗,或者不可控与不可正常运行了吗)
技能25
先学作者个技能25吧(两行代码将命令行改成彩色&登录服务器-漂亮并且好看)
第一条代码echo 'export PS1="\[\033]2;\h:\u \w\007\033[33;1m\]\u \033[35;1m\t\033[0m \[\033[36;1m\]\w\[\033[0m\]\n\[\e[32;1m\]$ \[\e[0m\]"' >> ~/.bashrc (这段代码复制时不能匹配当前格式,否则无效,必须按照up主的原格式不发生变化进行输入)
下为不变格式的可行命令:
echo 'export PS1="\[\033]2;\h:\u \w\007\033[33;1m\]\u \033[35;1m\t\033[0m \[\033[36;1m\]\w\[\033[0m\]\n\[\e[32;1m\]$ \[\e[0m\]"' >> ~/.bashrc
第二条代码source ~/.bashrc直接复制就可以,不需要做任何修改
技能26 腾讯云Linux上安装R语言(以及通过yum去安装R)---无声的效果是真的不好
[if !supportLists]1. [endif]yum list | grep “^R”(开头是R的)
[if !supportLists]2. [endif]yum install -y R.x86
技能31 送生物人525个R包,下载,然后本地安装到R的library文件中,省了安装的过程,可能存在的问题,随着R语言的更新,有些包可能需要更新才能使用(可以尝试一下)
安利1:WGCNA(加权基因共表达网络原理以及操作示例(具体查看生信分析树与小猴子的内容,关于WGCNA)生信技能树举例是重量表型与模块相联系,那正常组织与癌症组织怎么与模块进行关联呢,up主找了简书上的WGCNA讲解。
技能30 将两个WGCNA网络绘制在一起使用(up主见没有,于是up主提供了一个讲解方式) 绘制合并的WGCNA图(在服务器上跑R语言),绘制代码有需要再向其学习,暂时先学习其他的吧。