鉴于上次所制作的爬虫存在许多不足之处，这次结合自己新学到的一些知识，再次讲解一下自己这次编写爬虫的思路。
就目前自己有的水平，这里我谈一谈自己对爬虫的一些理解：通过代码形式想某个特定的网站发出一个请求，网页根据其接收到的请求，返回一些信息，这些信息当中，我们爬虫目标所需要的就是返回的HTML页面的源码，因为大多数有用信息都包含在HTML源码当中，例如文章主体信息、某些网页的链接、等等。我们通过各种方式对获取的HTML源代码进行解析，比如在python中我们可以用正则表达式、xpath、BeautifulSoup库里的一些方法对HTML源代码进行解析，获取我们真正的目标信息。所以爬虫也并不是很神乎的东西，当了解了一些基础知识时，便能够编写一些简单的爬虫应用。
废话不多说，进入正题：
步骤一：分析所需要爬取的网页源代码的结构
目的：
了解自己爬取目标在源代码中所处的结构，方便后续使用xpath模块中的方法对自己所需要的信息进行精准定位。
这里我就是用开发者工具进行演示：paper漏洞分析报告链接
用红线画出的源代码部分就是各个文章标题对应的区域，<ariticlr>标签有五个，正好对应网页中五篇文章。因此在爬虫爬取时就可以直接用xpath“锁定”这部分内容，xpath语句可以直接从开发者工具这复制出来（将鼠标置于<main>标签上点击右键，有个copy的按钮，在里面就有复制xpath的选项），然后代码示例：main_node = html.xpath('//*[@id="wrapper"]/main/div')，注意这里main_node的类型是一个包含了HTML节点的列表，我们需要的是确定的节点，故还需要改为： main_node = html.xpath('//*[@id="wrapper"]/main/div')[0] 将节点从数组（列表）中取出。至此，我们就把目标确定到<main>标签内了。
从网页中可以看出这里包含了文章标题、文章发布时间、作者、文章简介等内容，我的目标就是这些信息。接下来继续深入查看所需要信息的具体结构
从上图中看到我将这篇文章对应的链接（不完整的）、文章名称、发布时间、作者标出，他们分别在不同的标签中，故我们就可以以<article>标签为入口，用xpath语句进入到信息所对应的标签中，对信息进行提取。代码如下：
先进入到<article>标签当中：main_node.xpath("./div/article") 注意此处获得的是 <article>标签列表，我们可以用for循环迭代方式，一个一个得使用<article>标签
for article in main_node.xpath('./div/article'):
文章名称：artlcle.xpath(" ./header/h5/a/text() ")[0] 因为我需要的文章是要讲述有关CVE漏洞编号的，所以在得到文章名时还需要对其判断是否是我所需要的文章，在此处就可以用正则表达式对文章名称进行解析。 正则表达式： reg = re.compile(r'[CVE]+-\d\d\d\d-\d\d\d\d\d?',re.I) re.I作用是忽略大小写， if (reg.findall(article_name)) != []: #判断是否符合自己的要求
接下来便是文章链接，即URL： 'https://paper.seebug.org' + article.xpath('./header/h5/a/@href')[0] # 用xpath得到的链接只是一部分，故需要加上前面部分，这里可以点击一篇文章查看网页链接，便会知晓缺少的部分。
时间： article.xpath('./header/section/span/time/@datetime')[0]
作者： article.xpath('./section[@class="post-content"]/text()')[0] 注意：这里获取的不仅仅是作者，还有其他多余信息，故需要运用正则表达式将作者信息分离出来。具体代码就不给出了，在后续完整代码中查看。
爬虫需要对多页爬取，故需要能够自动跳转页面：只需要找到“下一页按钮”，并将其内的URL提取出来，作为新的网页URL进行请求。
```
r = requests.get(url)
r.encoding = "utf-8"
html = etree.HTML(r.text)
part_url = html.xpath('//*[@id="wrapper"]/main/div/nav/a[@class="older-posts"]/@href')
if part_url != []:
return 'https://paper.seebug.org/category/vul-analysis/'+ part_url[0]
else:
print '\talready last page , spider is over'
return ''
```
针对其返回的内容进行判断，决定是否爬取结束。
此处再增加自己新学习的知识，将爬取的内容存入数据库，这次我所学的数据库是MongoDB，使用到pymongo库中的方法对已有数据库进行操作。代码如下：
from pymongo import MongoClient
def MongoDB(document):
client = MongoClient() 连接到已在后台启动的数据库服务端
spider_db = client.Spider 连接到服务端中的Spider数据库，如果没有就自动新建
paper_clect = spider_db.paper_sapder 连接到Spider数据库中的paper_sapder集合
paper_clect.insert_one(document) 向paper_sapder集合中导入json格式的文档
注意：集合、文档都是MongoDB中的一些名词。
在爬取过程中创建包含所需信息的文档：document = {'_id':num[0],'EssayAuthor':article_author,'CVENumber':cve_number,'SubTime':article_time,'EssayName':article_name,'EssayURL':article_url}
在调用已创建的MongoDB( )方法,向数据库中存入信息：MongoDB(document)
代码展示：
```
# -*- encoding: utf-8 -*-
import requests
from lxml import etree
import re
from pymongo import MongoClient
def get_page_url(url):
r = requests.get(url)
r.encoding = "utf-8"
html = etree.HTML(r.text)
part_url = html.xpath('//*[@id="wrapper"]/main/div/nav/a[@class="older-posts"]/@href')
if part_url != []:
return 'https://paper.seebug.org/category/vul-analysis/'+ part_url[0]
else:
print '\talready last page , spider is over'
return ''
def get_essay_info(url,num):
r = requests.get(url)
r.encoding = 'utf-8'
html = etree.HTML(r.text)
main_node = html.xpath('//*[@id="wrapper"]/main/div')[0]
reg = re.compile(r'[CVE]+-\d\d\d\d-\d\d\d\d\d?',re.I)
for article in main_node.xpath('./article'):
article_name = article.xpath('./header/h5/a/text()')[0]
if (reg.findall(article_name)) != []:
for cve_number in reg.findall(article_name):
article_url = 'https://paper.seebug.org' + article.xpath('./header/h5/a/@href')[0]
article_time = article.xpath('./header/section/span/time/@datetime')[0]
reg2 = re.compile(r'\n(.*?)\n',re.I|re.M)
article_author = reg2.findall(article.xpath('./section[@class="post-content"]/text()')[0])[0].replace(' ','')
num[0] += 1
document = {'_id':num[0],'EssayAuthor':article_author,'CVENumber':cve_number,'SubTime':article_time,'EssayName':article_name,'EssayURL':article_url}
MongoDB(document)
def MongoDB(document):
client = MongoClient()
spider_db = client.Spider
paper_clect = spider_db.paper_sapder
paper_clect.insert_one(document)
id_number = [0]
start_url = 'https://paper.seebug.org/category/vul-analysis/?page=1'
while(True):
if start_url != '':
print start_url
get_essay_info(start_url,id_number)
start_url = get_page_url(start_url)
else:
break
```
