爬取网址：https://www.jianshu.com/u/9104ebf5e177
爬取信息：用户动态类型，时间信息
爬取方式：使用bs4解析。
存储方式：打印出来
①爬取简书罗罗攀的用户动态信息：
image.png
②从打开URL到选择单击“动态”链接，网页URL没有发生该表，证明网页采用了异步加载技术。
利用Chrome的Network选项卡，选择XHR项，可以看到用户加载的动态文件。
image.png
③从Response项中可以看到每个LI标签就包含了一个用户动态内容，例如“关注了作者”，“喜欢了文章 ”，"发表了评论"等。经过确认，网址可以精简成：https://www.jianshu.com/users/9104ebf5e177/timeline
image.png
④通过下拉浏览发现网页采用Ajax进行分页处理：
image.png
⑤通过手工删除URL中的max_id字段，发现不能返回正常加载的内容，仅停留在首页动态当中。
而且每个页面的max_id都不同，数字规律也不是很明显，所以接下来构造URL的重点在于获取max_id的数字。
image.png
⑥经分析，原来数字的规律是这样子的，如下图所示：
第一页最后一个li标签中的id数字 = 第二页URL中的max数字 + 1
image.png
⑦由于Response返回的是XML文档，所以使用bs4的Lxml解析方法进行数据抓取工作。
抓取数据为：data-type和data-datetime。
image.png
⑧最后把结果打印出来。
代码如下：
import requests
from bs4 import BeautifulSoup
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3294.6 Safari/537.36'}
##获取data_type和datetime信息。
def get_info(url):
r = requests.get(url,headers = headers)
soup = BeautifulSoup(r.text,"lxml")
infos = soup.select("ul.note-list li")
for info in infos:
data_type = info.select("div.author span")[0].get("data-type")
datetime = info.select("div.author span")[0].get("data-datetime")
print(data_type,datetime)
##获取max_id信息
def get_id(url):
r = requests.get(url,headers = headers)
soup = BeautifulSoup(r.text,"lxml")
max_id = soup.select("ul.note-list li")[-1].get("id").split("-")[1]
return int(max_id)
if __name__ == "__main__":
start_url = "https://www.jianshu.com/users/9104ebf5e177/timeline"
get_info(start_url)
max_id = get_id(start_url) + 1
#利用循环代替递归函数。
for page in range(2,11):
next_url = "https://www.jianshu.com/users/9104ebf5e177/timeline?max_id={}&page={}".format(max_id, page)
get_info(next_url)
max_id = get_id(next_url) + 1
部分结果为：
like_user 2018-02-20T13:21:20+08:00
like_note 2018-02-20T12:45:47+08:00
comment_note 2018-02-17T09:31:48+08:00
like_note 2018-02-16T20:26:10+08:00
like_note 2018-02-15T16:13:39+08:00
...
comment_note 2017-08-22T17:50:54+08:00
like_note 2017-08-22T17:50:11+08:00
like_note 2017-08-22T16:40:18+08:00
like_user 2017-08-22T16:39:54+08:00
comment_note 2017-08-22T16:38:54+08:00
