目标
爬取《斗破苍穹》全文小说，网址：http://www.doupoxs.com/doupocangqiong/
思路
手动浏览前几章节，观察url网址变化，以下为前4章节网址：
http://www.doupoxs.com/doupocangqiong/2.html
http://www.doupoxs.com/doupocangqiong/5.html
http://www.doupoxs.com/doupocangqiong/6.html
http://www.doupoxs.com/doupocangqiong/7.html
可以看到，第1和第2章节没有明显规律，第2章节以后规律明显，通过数字递加来分页。手动输入http://www.doupoxs.com/doupocangqiong/3.html，会发现是404错误页面。
所以，具体的思路为：从第1章开始构造URL，中间有404错误就跳过不爬取。
具体代码如下：
import requests
import time, re
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
f = open('doupo.txt', 'a+') #新建txt文档，以追加方式写入
def getInfo(url):
r = requests.get(url, headers=headers)
if r.status_code == 200: #判断请求码是否为200
contents = re.findall("<p>(.*?)</p>", r.content.decode('UTF-8'), re.S) #正则获取所有<p>标签内容，注意需要解码，不然会出错。
for content in contents:
f.write(content + '\n')
else:
pass
if __name__ == '__main__':
urls = ["http://www.doupoxs.com/doupocangqiong/{}.html"\
.format(str(i)) for i in range(2, 1665)]
for url in urls:
print('正在爬取'+url)
getInfo(url)
time.sleep(2)
f.close()
image
