基于Python爬虫从NCBI批量下载数据的脚本
一、前言
当前NCBI作为分子生物学界最普遍使用的基因数据储存和处理系统，由于在需要大批量下载基因序列时，网站未提供相应下载工具，所以本人以节约时间成本为目的，提高科研工作效率为出发点，编写从NCBI上大批量爬取基因序列的脚本，同时以此为生物信息学课程作业。编码编写水平有限，望指教。
二、开发思路
1.当我们使用爬虫爬取相关网站的数据时，首先我们需要了解浏览器与网站服务器如何实现数据交互。这里先介绍几个基础概念：
1.1 URL:Internet上的每一个网页都具有一个唯一的名称标识，通常称之为URL (Uniform Resource Locator, 统一资源定位器）。它是www的统一资源定位标志，简单地说URL就是web地址，俗称“网址”。
1.2 http协议: Internet上的每一个网页都具有一个唯一的名称标识，通常称之为UR（UniformResource Locator, 统一资源定位器）。它是www的统一资源定位标志，简单地说URL就是web地址，俗称“网址”,简单来说，浏览器与服务器之间数据交流是按照http协议规定的方式进行。
如图所示，浏览器遵循http协议按照指定url发送数据请求，即request，服务器响应浏览器发出的请求返回数据称为response。在我们向浏览器请求数据时，需要一个实体发出请求，通常浏览器即为这个实体，也就是用户代理，爬虫爬取数据的过程也就是通过脚本程序将自己伪装成浏览器来访问服务器获取数据，再对数据进行解析提取。
2.首先我们看一下正常情况下，通过浏览器访问NCBI数据库的方式，如图二所示，通过输入网址National Center for Biotechnology Information (nih.gov)，浏览器就会打开此页面，进入NCBI的核苷酸数据库，在搜索框中输入NCBI数据库定义的Gene Bank号，就可以找到我们想要找的核苷酸序列，在NCBI数据库每一个Gene Bank号对应唯一的核苷酸序列。
下面以gene bank：T42934为例，搜索该gene bank对应的核苷酸序列，在搜索框中输入T42934，并点击页面FASTA选项，浏览器显示页面如图三所示。
从图中我们可以很明显看出一些变化，第一点：网址的变化与图二相比，图三的网址添加了一些参数包括gene bank 和report= fasta。通过分析添加这些参数，我们知道每个参数的功能。Gene ban：定位到指定的序列，fasta：以fasta数据格式输出。第二点我们需要爬取的网页数据就是图三中红色框中的内容，所以我们只要通过指定的URL获取到这个html文件，再提取关键数据。爬虫的主要工作就完成了。通过以上描述，我们大致了解到浏览器与服务器之间数据传输的方式，现在我们借助爬虫实现与服务器的数据交互。
三、 代码实现
爬虫主程序如图四所示，由于图三中红色框内数据，并非由黄色框中url搜索的到的，而是另外动态加载得到的数据。需要gene bank对应的gene id为参数才能得到该ajax数据包。还是以T42934为例，当我们以URL=https://www.ncbi.nlm.nih.gov/nuccore/T42934.1?report=fasta来搜索数据时发现爬虫返回的html文件不包含我们需要的数据，真正的数据是以图五.2的动态数据加载而来，请求URL如图中所示。因此我们需要先从gene bank 获取对应的gene id 再搜索数据。
爬虫开始爬取基因序列之前需要知道自己要爬取哪些基因，本人默认爬虫读取’C:/temp’路径下的list.xlsx文件以获取需要爬取的基因，该list.xlsx默认第一列填写基因名，无header。脚本获取数据函数如图六所示
获取genebank 对应id函数如下图七
获取gene id对应序列fasta格式文件如图八
四、参考资料
CSDN 爬虫爬取动态加载网页
CSDN NCBI上爬取品种信息
Python道长—爬虫入门到实践
IT私塾 python爬虫编程基础五天速成
图灵学院python爬虫教程
