这篇文章主要是用来记录自己用python编写爬虫以及数据分析代码，简单比较《你的名字。》和《超时空同居》两部电影的豆瓣评论。两部电影都是包含穿越元素的爱情片，初次在影院观看都带给笔者蛮多惊喜，不过显然前者在画面、音乐、故事等方面还是要胜过国产片，也成了笔者深夜写代码时又一部背景片。做这个小项目，也是想练习一下python与数据分析相关的几个库，增加一些实战经验。不足之处，日后继续改进。
完整代码：
电影短评爬虫完整代码
一、主要用到的python库
import requests
from lxml import etree
import re
from pymongo import MongoClient
import time
二、网页爬虫流程
- 进入起始页，解析页面元素
- 保存每页评论（共20条）内容至mongoDB
- 判断是否存在“下一页”的链接，若有，则翻页进入下一页，继续解析
- 若没有下一页，爬虫停止。
目前豆瓣对用户可浏览的评论数进行了限制，只允许浏览500条。因此，爬取的数据最多只有500条记录
三、简要分析豆瓣电影短评页面
电影短评示例
豆瓣电影短评目前分为热门、最新、好友三类。“热门”类是列出被标记“有用”次数最多的评论。选择这个分类也能更好代表用户对一部电影的评价。
每一条评论包含了用户名称、打星情况、评论日期、评论内容以及被标记有用次数几个信息，相应爬虫代码为：
def get_comments(self, cur_url):
'''
从当前html页面解析出20条评论的信息,并存入mongo数据库。获取每条评论的id,日期，评论内容，有用数量
:param cur_url:待爬取页面url
:return:当前页面的20条评论数据信息
'''
print('解析页面:%s' % cur_url)
html = self.get_html(cur_url)
commList = html.xpath('//div[@class="comment-item"]')
data = []
for item in commList:
user_id = item.attrib['data-cid']
vote = item.xpath('.//span[@class="votes"]')[0].text.strip()
user_name = item.xpath('.//span[@class="comment-info"]/a')[0].text.strip()
status = item.xpath('.//span[@class="comment-info"]//span[1]/text()')[0].strip()
if len(item.xpath('.//span[@class="comment-info"]//span')) == 3:
rating = item.xpath('.//span[@class="comment-info"]//span[2]/@title')[0].strip()
pub_time = item.xpath('.//span[@class="comment-info"]//span[3]/text()')[0].strip()
else:
rating = ''
pub_time = item.xpath('.//span[@class="comment-info"]//span[2]/text()')[0].strip()
comment_lines = item.xpath('.//p/text()')[0].strip()
comment_info = {
'user_id': user_id,
'vote': vote,
'user_name': user_name,
'status': status,
'rating': rating,
'pub_time': pub_time,
'comment_lines': comment_lines
}
data.append(comment_info)
return data
这里用到xpath语法定位爬取的元素.笔者觉得相比于BeautifulSoup库需要分析上下节点之间的关系，用lxml库解析网页然后使用xpath技术会更加方便。
四、利用pymongo库将数据存入mongoDB中
def saveData(self, data):
'''
:param data:
:param db:
:return:
'''
client = MongoClient()
mongo_DB = self.db
db = client[mongo_DB]
col = db[self.collection]
try:
if col.insert_many(data):
print('保存成功！')
except Exception:
print('保存失败。')
return None
接下来用pandas库和matplotlib库进行数据分析及展示
