【爬虫成长之路】(三)【大众点评】selenium爬虫

本系列文章共十篇:

【爬虫成长之路】(一)爬虫系列文章导读
【爬虫成长之路】(二)各篇需要用到的库和工具
【爬虫成长之路】(三)【大众点评】selenium爬虫
【爬虫成长之路】(四)【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】(五)【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】(六)【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】(七)【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】(八)【大众点评】安卓APP爬虫

本文需要用到的工具:浏览器F12控制台
本文需要用到的库:seleniumbs4

爬取目标数据:

  1. 指定城市的店铺列表及其评分数据
  2. 指定店铺下的用户评论数据

一、需求分析

这一篇总共需要爬取两个页面的数据,分别是:

  1. 某城市的店铺列表页面
  2. 某店铺的评论列表页面

但在爬取的过程中,我们只要多爬几页,网站就会要求登录,所以我们这里还要处理一个登录的页面,即先完成登录,再去爬取。

二、URL提取

浏览器F12 切换到Network选项卡下,再使用到Doc过滤器,打卡登录页面,刷新一次就可以看到URL链接了,后面Web端的URL也是这样获取,就不在重复了。

  1. 获取登录URL
# 登录URL
https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F
F12获取登录的URL
  1. 店铺列表URL
# 店铺列表URL
http://www.dianping.com/guangzhou/ch10/p2
  1. 评论详情URL
# 评论详情URL
http://www.dianping.com/shop/G8Ieq52Y02jBiXP8/review_all/p2

三、分析文档结构,定位元素位置

在模拟请求之前,就可以先分析文档结构,这一步没什么太大的技术含量,方法也多种多样,一般就是用bs4正则来提取。定位元素时多是依靠元素的属性来定位,如果元素属性太少了,不足以定位元素,可以考虑使用正则。

如果你不了解bs4这个库,可以参考下面链接:

  1. Beautiful Soup 4.2.0 文档
根据文档结构定位元素

四、编写程序

这里我将测试通过的代码放在下面,基于selenium的爬虫相对来说没那么容易失效,如果文档结构发生了变化,则需要对提取数据部分进行修改,接口则是相对稳定的,往往不那么容易发生变动。

注:

这里需要注意的是,直接使用selenium是会被识别为爬虫的,哪怕是手动操作也不行。这是因为大众点评用JS做了检测,需要绕过这个检测有两种方法(这里采用的是第一种):

  1. 修改浏览器参数
  2. 拦截并修改JS
检测webdriver的JS代码
# -*- coding: utf-8 -*-
# @Time    : 2021/4/20 11:14
# @Author  : keep1234quiet
# @FileName: 03.seleniumSpider.py
# @Software: PyCharm
# @Blog    : https://www.jianshu.com/u/2fc23add985d

import random
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup as BS


options = webdriver.ChromeOptions()
UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
options.add_argument(f'user-agent={UA}')

options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

# 没有配置环境变量的话需要填写Chromedriver的路径:webdriver.Chrome(executable_path="***")
driver = webdriver.Chrome(options=options)
driver.maximize_window()

# 去掉window.navigator.webdriver字段,防止被检测出是使用selenium
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})


def login():
    """
    登录函数
    """
    login_url = 'https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F'
    driver.get(login_url)   # 打开登录页面,手动扫码登录

    while True:
        try:
            driver.find_element_by_class_name('login-container')  # 还能找到"请登录"
            sleep(2)
        except:
            driver.find_element_by_class_name('countDown')  # 登录成功
            break

    print('登录成功')


def fetch_shoplist(page_num=1):
    """
    获取美食分区下的店铺信息
    """
    city = 'guangzhou'
    food_shop_url = f'http://www.dianping.com/{city}/ch10'  # /p1~
    shop_info = []
    for i in range(1, page_num+1):
        driver.get(food_shop_url+f'/p{i}')
        soup = BS(driver.page_source, 'lxml')
        page_shop = soup.find_all('div', class_='txt')
        for shop in page_shop:
            shop_info.append({
                'shopid': shop.a['data-shopid'],
                'name': shop.a.text.strip(),
                'score': shop.find('div', class_='nebula_star').text.strip()
            })
    return shop_info


def fetch_comment(shopid='H7fXoNAkafmesfFG', page=1):
    """
    爬取指定店铺下的用户评论
    :param shopid: 店铺ID
    :param page: 页码
    :return: 解析后的评论信息
    """
    url = f'http://www.dianping.com/shop/{shopid}/review_all'
    if page != 1:
        url += f'/p{page}'
    driver.get(url)
    soup = BS(driver.page_source, 'lxml')
    comments = soup.find_all('div', class_='main-review')
    comment_list = []
    for item in comments:   # 遍历所有评论
        username = item.find('div', class_='dper-info').text.strip()
        items = item.find_all('span', class_='item')     # 各项评分
        detail_score = []
        for _item in items:
            detail_score.append(_item.text.strip())
        content = item.find('div', class_='review-words').text.strip()  # 获取到的评论不全,做了CSS加密
        comment_list.append({'username': username, 'item': detail_score, 'content': content})
    return comment_list


if __name__ == '__main__':
    login()
    shop_info = fetch_shoplist()
    # print(shop_info)
    for _ in shop_info:
        print(_)
    shopid = shop_info[2]['shopid']     # 这里也可以用for来遍历,但要适当加延时
    comment_list = fetch_comment(shopid=shopid, page=1)
    # print(comment_list)
    for _ in comment_list:
        print(_)
    driver.quit()

五、程序运行结果

程序运行结果如下,可以和下面的页面对比看下。


仔细查看可以发现,获取到的用户评论是不完整的,这是因为它的字体使用了CSS加密,将文字保存在一张表里面,通过映射关系找到对应的文字,再在web端完整显示出来。


这里而我没有去做字体的解密,因为其他博主已经给了很详细的解密思路了,这里附上几篇参考文章:

  1. 大众点评反爬虫解析
  2. 破解点评网字体反爬,深入挖掘系统背后的原理
  3. 大众点评美食——SVG字体加密解析(一)
  4. 大众点评美食——字体字典生成(二)
  5. 老司机教你用Python爬大众点评上期(2019.8.11最新版)
  6. python破解大众点评的字体加密,经典的字体反爬教程
  7. 大众点评字体反爬的反爬虫, 可以解密svg图形文字, woff文件自定义字体
爬取结果
店铺列表
评论列表

六、优缺点分析

序号 优点 缺点
1 程序编写简单 运行速度慢

在爬取的过程中,我们能明显感觉到太慢了,其中有一些不需要用到的请求加载很耗时,以及一些图片和CSS资源等,再加上是图形化界面,所以给人的感觉就是很慢,在数据量不大的情况下还是可以使用这种方法的,毕竟可以快速开发出一个爬虫出来。

那如果提高速度呢?用requests,但是登陆又十分复杂,需要一堆加密参数,所以我们将采用selenium和requests相结合的方式,具体见第四篇文章。

注:

  1. 如果您不希望我在文章提及您文章的链接,或是对您的服务器造成了损害,请联系我对文章进行修改;
  2. 本文仅爬取公开数据,不涉及到用户隐私;
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容