本系列文章共十篇:
【爬虫成长之路】(一)爬虫系列文章导读
【爬虫成长之路】(二)各篇需要用到的库和工具
【爬虫成长之路】(三)【大众点评】selenium爬虫
【爬虫成长之路】(四)【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】(五)【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】(六)【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】(七)【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】(八)【大众点评】安卓APP爬虫
本文需要用到的工具:浏览器
F12
控制台
本文需要用到的库:selenium
、bs4
爬取目标数据:
- 指定城市的店铺列表及其评分数据
- 指定店铺下的用户评论数据
一、需求分析
这一篇总共需要爬取两个页面的数据,分别是:
- 某城市的
店铺列表
页面 - 某店铺的
评论列表
页面
但在爬取的过程中,我们只要多爬几页,网站就会要求登录,所以我们这里还要处理一个登录的页面,即先完成登录,再去爬取。
二、URL提取
浏览器F12 切换到Network选项卡下,再使用到Doc过滤器,打卡登录页面,刷新一次就可以看到URL链接了,后面Web端的URL也是这样获取,就不在重复了。
- 获取登录URL
# 登录URL
https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F
- 店铺列表URL
# 店铺列表URL
http://www.dianping.com/guangzhou/ch10/p2
- 评论详情URL
# 评论详情URL
http://www.dianping.com/shop/G8Ieq52Y02jBiXP8/review_all/p2
三、分析文档结构,定位元素位置
在模拟请求之前,就可以先分析文档结构,这一步没什么太大的技术含量,方法也多种多样,一般就是用bs4
或正则
来提取。定位元素时多是依靠元素的属性来定位,如果元素属性太少了,不足以定位元素,可以考虑使用正则。
如果你不了解bs4这个库,可以参考下面链接:
四、编写程序
这里我将测试通过的代码放在下面,基于selenium的爬虫相对来说没那么容易失效,如果文档结构发生了变化,则需要对提取数据部分进行修改,接口则是相对稳定的,往往不那么容易发生变动。
注:
这里需要注意的是,直接使用
selenium
是会被识别为爬虫的,哪怕是手动操作也不行。这是因为大众点评用JS做了检测,需要绕过这个检测有两种方法(这里采用的是第一种):
- 修改浏览器参数
- 拦截并修改JS
# -*- coding: utf-8 -*-
# @Time : 2021/4/20 11:14
# @Author : keep1234quiet
# @FileName: 03.seleniumSpider.py
# @Software: PyCharm
# @Blog : https://www.jianshu.com/u/2fc23add985d
import random
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup as BS
options = webdriver.ChromeOptions()
UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
options.add_argument(f'user-agent={UA}')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
# 没有配置环境变量的话需要填写Chromedriver的路径:webdriver.Chrome(executable_path="***")
driver = webdriver.Chrome(options=options)
driver.maximize_window()
# 去掉window.navigator.webdriver字段,防止被检测出是使用selenium
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
def login():
"""
登录函数
"""
login_url = 'https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F'
driver.get(login_url) # 打开登录页面,手动扫码登录
while True:
try:
driver.find_element_by_class_name('login-container') # 还能找到"请登录"
sleep(2)
except:
driver.find_element_by_class_name('countDown') # 登录成功
break
print('登录成功')
def fetch_shoplist(page_num=1):
"""
获取美食分区下的店铺信息
"""
city = 'guangzhou'
food_shop_url = f'http://www.dianping.com/{city}/ch10' # /p1~
shop_info = []
for i in range(1, page_num+1):
driver.get(food_shop_url+f'/p{i}')
soup = BS(driver.page_source, 'lxml')
page_shop = soup.find_all('div', class_='txt')
for shop in page_shop:
shop_info.append({
'shopid': shop.a['data-shopid'],
'name': shop.a.text.strip(),
'score': shop.find('div', class_='nebula_star').text.strip()
})
return shop_info
def fetch_comment(shopid='H7fXoNAkafmesfFG', page=1):
"""
爬取指定店铺下的用户评论
:param shopid: 店铺ID
:param page: 页码
:return: 解析后的评论信息
"""
url = f'http://www.dianping.com/shop/{shopid}/review_all'
if page != 1:
url += f'/p{page}'
driver.get(url)
soup = BS(driver.page_source, 'lxml')
comments = soup.find_all('div', class_='main-review')
comment_list = []
for item in comments: # 遍历所有评论
username = item.find('div', class_='dper-info').text.strip()
items = item.find_all('span', class_='item') # 各项评分
detail_score = []
for _item in items:
detail_score.append(_item.text.strip())
content = item.find('div', class_='review-words').text.strip() # 获取到的评论不全,做了CSS加密
comment_list.append({'username': username, 'item': detail_score, 'content': content})
return comment_list
if __name__ == '__main__':
login()
shop_info = fetch_shoplist()
# print(shop_info)
for _ in shop_info:
print(_)
shopid = shop_info[2]['shopid'] # 这里也可以用for来遍历,但要适当加延时
comment_list = fetch_comment(shopid=shopid, page=1)
# print(comment_list)
for _ in comment_list:
print(_)
driver.quit()
五、程序运行结果
程序运行结果如下,可以和下面的页面对比看下。
仔细查看可以发现,获取到的用户评论是不完整的,这是因为它的字体使用了CSS加密,将文字保存在一张表里面,通过映射关系找到对应的文字,再在web端完整显示出来。
这里而我没有去做字体的解密,因为其他博主已经给了很详细的解密思路了,这里附上几篇参考文章:
- 大众点评反爬虫解析
- 破解点评网字体反爬,深入挖掘系统背后的原理
- 大众点评美食——SVG字体加密解析(一)
- 大众点评美食——字体字典生成(二)
- 老司机教你用Python爬大众点评上期(2019.8.11最新版)
- python破解大众点评的字体加密,经典的字体反爬教程
- 大众点评字体反爬的反爬虫, 可以解密svg图形文字, woff文件自定义字体
六、优缺点分析
序号 | 优点 | 缺点 |
---|---|---|
1 | 程序编写简单 | 运行速度慢 |
在爬取的过程中,我们能明显感觉到太慢了,其中有一些不需要用到的请求加载很耗时,以及一些图片和CSS资源等,再加上是图形化界面,所以给人的感觉就是很慢,在数据量不大的情况下还是可以使用这种方法的,毕竟可以快速开发出一个爬虫出来。
那如果提高速度呢?用requests,但是登陆又十分复杂,需要一堆加密参数,所以我们将采用selenium和requests相结合的方式,具体见第四篇文章。
注:
- 如果您不希望我在文章提及您文章的链接,或是对您的服务器造成了损害,请联系我对文章进行修改;
- 本文仅爬取公开数据,不涉及到用户隐私;