开发环境
python: 3.7.2
第三方库：
requests: 2.21.0
lxml
安装：
pip install requests
pip install lxml
使用工具：
jupyter notebook
Talk is cheap. Show me the code.
先贴代码，废话放后面
'''
爬虫三步走：
1.请求
2.解析
3.保存
'''
'''
请求url: base_url~~last_url
base_url: 'https://www.biquges.com/9_9331/5966590.html'
last_url: 'https://www.biquges.com/9_9331/5967289.html'
'''
import requests
from lxml import etree
from time import sleep
base_url = 'https://www.biquges.com/9_9331/596{}.html'
def get_HTML(url):
resp = requests.get(url)
resp.encoding = resp.apparent_encoding
html = etree.HTML(resp.text)
title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')[0]
content = html.xpath('//*[@id="content"]/text()')
print(title)
return title,content
def save_novel(title,content):
with open('./斗罗大陆/'+title+ '.txt', 'wb' ) as file:
file.write(title.encode('utf-8'))
for item in content:
file.write(item.encode('utf-8'))
file.close()
def main():
for i in range(6590,7289+1,1):
url = base_url.format(i)
title,content = get_HTML(url)
save_novel(title,content)
sleep(0.3)
if __name__=='__main__':
main()
爬虫三步走：
1.请求网页
2.分析代码
3.保存数据
1.请求网页& 2.分析代码
把前两步放一起了
请求网页的方式有很多种，为了方便，我就用requests了
解析网页使用了xPath，简单、快速
title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')[0]
content = html.xpath('//*[@id="content"]/text()')
上面这两行代码，括号里的参数怎么来的，可以讲一下
在浏览器里，按下F12打开开发调试工具，出来这个界面
浏览器开发调试工具界面
image.png
像这样：
image.png
/text()来获取文本，标题也同样。有时候可能没有那么理想，可以自己修改一下。自行百度XPath语法。
3.保存数据
image.png
image.png
只是抓取文本，速度还是很快的，不过到了第二百三十六章的时候就报错了，列表索引越界，这是因为title可能是一个空的list，这个问题好解决，下面就说。不过还有一个问题暴露出来了，还没去解决，如果下载到一半，报错了，或是网络问题断了，又得从头来过，数据少还好说，要是多的话，那就很浪费时间了，这个问题找时间再折腾吧（思路是用异常处理）。
#第一处修改：
title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')[0]
#第二处修改：
title = title[0] if title else "unnamed"
~~~~~
修改后的get_HTML函数：
def get_HTML(url):
resp = requests.get(url)
resp.encoding = resp.apparent_encoding
html = etree.HTML(resp.text)
title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')
content = html.xpath('//*[@id="content"]/text()')
title = title[0] if title else "unnamed"
print(title)
return title,content
这样就不会越界了，简单吧
直接把文本保存到txt文件，需要先在代码的同级目录下新建一个 斗罗大陆 文件夹（可以代码实现新建文件夹，不难。有需要的自己整吧）
写到这里，好像讲漏了什么。想起来再补充吧！！！
讲的其实也不够仔细.
经过几次尝试，发现越到后面，加载速度越慢，可能是后面的内容越来越多，我的网络跟不上，也可能是反爬。最终的代码是这样的。
import requests
from lxml import etree
from time import sleep
import time
base_url = 'https://www.biquges.com/9_9331/596{}.html'
index = 0
def get_HTML(url):
resp = requests.get(url)
resp.encoding = resp.apparent_encoding
html = etree.HTML(resp.text)
title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')
content = html.xpath('//*[@id="content"]/text()')
title = title[0] if title else "unnamed"
print(title)
return title,content
def save_novel(title,content):
global index
index += 1
with open('./斗罗大陆/'+str(index)+title+ '.txt', 'wb' ) as file:
file.write(title.encode('utf-8'))
for item in content:
file.write(item.encode('utf-8'))
file.close()
def main():
for i in range(6590,7289+1,1):
url = base_url.format(i)
title,content = get_HTML(url)
save_novel(title,content)
sleep(1)
if __name__=='__main__':
t1 = time.time()
main()
print("耗时：",time.time()-t1)
image.png
image.png
可以看到，一共保存了700个文件，但是，我们在网站却只看到了687章，加上引子一章，这无端多出来的十几章，是因为网站url不连续引起的，又什么规律，不好代码跳过，只能手动删除了。
image.png
比如：
第六百五十一章 太阳圣剑
第六百五十二章 大地中的神级追杀
这些unnamed就是因为访问了一个空的url，没有获取到我们要的内容才产生的。
打完收工，这次的网页是同步加载的，所以会容易很多；以后可以分享一下异步加载的网页的爬取，或者爬一些图片和视频 <==Flag
写在最后：我是不爱看小说的，这次爬这部小说，纯粹练手，各位小伙伴测试代码的时候请适当放慢速度，不要轰炸服务器。
