前言
↓
舞剑很喜欢阅读网络小说。
凡人修仙传，知北游，无限恐怖……等等，优秀的网络小说很多，为此，我在三年前创办了一个推书公众号@无梦解书荒。
专门用来推荐我觉得好看的网络小说。
小说爬虫
起因
老书虫一般有两个烦心事，第一，不知道看什么。第二，不知道去哪看。
第一个，可以去找推书公众号，以及各大榜单扫榜。
第二个，就没那么容易了。
翻开百度一搜，广告横行，弹窗关都关不完，阅读体验差的一批。
这时候，我们可以用 Python 爬虫，将小说从网页端爬取下来，整理成 TXT 文本，导入喜欢的阅读APP观看。
准备
舞剑前面介绍了两款 Python 集成开发环境，分别是 QPython 和 Pydroid 。
这一次，就用 Pydroid 来爬取小说。
获得 Pydroid * 1
Python 爬虫，必须要观看源码，从源码中寻找需要的资源与文本。可以直接用 Python 扒源码，我这里建议用网页源码查看器，简单直观。 获得 Alook浏览器 * 1
开始
1. 获取小说地址
①我这里准备爬取凡人流小说《凡人修仙传》
②随机选取网址：
m.9txs.com/book/61781.html
2. 分析源码地址
① 首先爬取第一章《山边小村》的文本内容，点进去第一章，可以发现网址链接后缀改变了。
m.9txs.com/book/61781/868469.html
多出了 /868469.html。
② 用Milk浏览器打开网址，运行脚本，可以查看源码。
3. 爬取首页 TXT 文本
① 爬取整页源码。
舞剑这里准备使用 requests 库，大家记得安装好。
首先自定义方法 get_one _page()，用来爬取源码并返回给 main() 方法。
接下来，在 main() 函数中输出源代码。
代码如下：
import requests
#获取首页源码
def get_one_page( url ):
response = requests.get( url )
return response.text
def main():
url = 'http://m.9txs.com/book/61781/868469.html'
html = get_one_page( url )
print( html )
main()
②解析页面，筛选内容。
首先，来看看正文部分究竟在源码的哪里。
嗯，在 div id=“main”>……</d 中间。
章节标题在 h1 class=“headline”> </h1
正文内容在 div class=“content”></div 至于作者与书名，我们暂时不需要。
③编写代码，提取内容
这里准备使用 lxml 库来爬取正文，没安装的小伙伴记得先安装，很方便的。
首先，导入 lxml 库的 etree 模块。
然后，使用 etree 的 HTML() 方法来初始化源码。
最后，使用xpath语法来抽取我们需要的内容。
这里，新建一个方法 parse_one _page() 用来爬取资源。
代码如下：
#解析源码，提取正文
def parse_one_page( html ):
html = etree.HTML( html )
#标题
title = html.xpath('//div[@id="main"]/h1/text()')
#正文
content = html.xpath('//div[@id="main"]/div[@class="content"]//text()')
print( title )
print( content )
需要的内容为 title(标题) 和 content(正文)。
这里的代码输出后，会得到两个数组，分别记录着标题和正文的内容。
内容如下所示：
[‘第1章 山边小村’]
[’\n\t’, ‘二愣子睁大着双眼，直直望着茅草和烂泥糊成的黑屋顶，身上盖 着的旧棉被，已呈深黄色，看不出原来的本来面目，还若有若无的散发着淡 淡的霉味。’, ‘\n’, ‘在他身边紧挨着的另一人，是二哥韩铸，酣睡的十分 香甜，从他身上不时传来轻重不一的阵阵打呼声。’, ‘\n’, ‘离床大约半丈 远的地方，是一堵黄泥糊成的……’, ‘……’, ‘\n\t’]
可以看到，这两个数组的确是我们需要的内容。 那么，就剩下最终的一步，将 爬取的小说标题和正文保存到 TXT 文本中。
写入文档，保存为TXT||4
保存为 TXT 文本很简单，只需要使用 Python 自带的文件系统就可以了。
这里先新建一个方法 write_txt()， 用来保存 TXT文本。
接着使用内置方法，创建 txt 文件 凡人修仙传.txt，设置参数为 a+，表示可以追加内容，最后使用 **write()**方法写入即可。
代码如下所示：
#保存TXT文本
def write_txt( result ):
with open( '/sdcard/凡人修仙传.txt', 'a+' ) as f:
f.write( result )
接下来，就是在 main() 方法中调用 **write_txt()**方法就行了，但这里有两个问题：
① parse_one _page()方法返回的是列表（list），不能直接写入到 TXT 文本中。
②列表正文（content）中，除了小说正文外，还包含了 “\n \t” 这些符号，必须要去除后再写入 txt文档，才不会影响阅读体验。
取出标题
我们先取出 title（标题）中的内容， title 中只有一个内容，所以只需要使用下标为0的中括号就能取出，代码如下所示：
write_txt( title[0] )
取出正文
接着要取出 content（正文）中的内容， content 内部包含了换行符（\n）和制表符（\t），它们散落在每一段文字的开头与结尾，这里直接使用 join() 方法，用 \n 将内容连接为 str（字符串）。
代码如下所示：
write_txt( '\n'.join(content) )
最终会在手机根目录生成 凡人修仙传.txt 文本，打开后可以看到爬取的内容一切正常。
后记
就这样，用 Python 爬虫爬下了凡人修仙传第一章的内容，是不是很简单。
至于其他章节的内容，留在下一节继续写。
另外，源码很简单，总共也就30行，如果有需要的小伙伴，记得关注我，后台回复：爬虫01，获取本次的代码。
关于 Pydroid ，可以去翻翻我以前的文章，也可以后台直接回复：0003， 免费领取。
文中用到的 Alook，嫌麻烦的小伙伴可以用其他的 via 等浏览器取代，只要可以查看源码就行。
当然，也可以后台回复：0008，或者直接回复： Alook， 即可免费获取。
