从现在开始，会随机对各大网站的一些信息进行分析采集

1.目标

今天采集大众点评。先从简单点的开始：采集大众点评的美食类商家店铺信息。其中包括类别、店名、图片、星级、点评数、人均消费、口味评分、环境评分、服务评分、地址、推荐菜。

2.请求分析

首先先看一下链接跟页面：
http://www.dianping.com/guangzhou/ch10/g103

采集页面一览

请求头信息

3.采集

首先，通过请求起始url，我们拿到所有类别的地址

    def get_response(self, req_url):
        """
        请求
        :param req_url:
        :return:
        """
        response = requests.get(f'{req_url}', headers=self._headers)
        if response.status_code == 200:
            return response.content.decode('utf-8')
        return None
    def run(self):
        # 1. 获取所有类别地址
        response = self.get_response(self._start_url)
        content = etree.HTML(response)
        url_list = content.xpath('//div[@id="classfy"]//a/@href')

然后，通过请求这些地址，逐个去解析页面，在这里问题来了，我们先看一下其中一个商家的相关信息：

店铺图片跟名称

店铺其他信息

CSS字体加密

css字体加密是一种自定义字体映射加密，简单来说就是通过自定义的字体文件来渲染网页中的文字，网页上看到的文字，在网页源码中不再用文字表示，而是用相应的字体编码来表示。我们从页面上复制也复制不出来，以此达到了反爬的效果。

那这种反爬怎样去解决呢，接下来我们通过大众点评的小例子来分析一下。
首先要解决css字体反爬，要先找到他在哪，我们来看一下：

字体加密文件

开放字体格式地址

字体文件内容

上面初步认识了一下css字体加密，接下来继续我们采集的代码：
前面我们到了信息提取这一部分，又通过css字体加密的分析，可以以以下步骤来完成解析（以点评数为例,附核心操作代码）：

• 1.找到加密标签对应的css文件，文件中找到对应的字体文件，下载

            response = self.get_response(url)
            content = etree.HTML(response)

            # 找到相关css文件
            css_path = content.xpath('//link[contains(@href, "svgtextcss")]/@href')[0]
            time.sleep(3)
            css_content = self.get_response(f'http:{css_path}')

            # 点评数
            self.parse_review_num(css_content, content.xpath('//a[@class="review-num"]'))

• 2.对字体文件转换，这里用到了fontTools库，可以将.woff文件中的字体编码提取出来

        # 下载字体文件，如没有则下载，已存在则直接解析
        if not os.path.exists(woff_path):
            # 下载字体文件
            response = requests.get(f'http:{woff_url[0]}.woff', headers=self._headers)
            with open(woff_path, 'wb') as f:
                f.write(response.content)
            # 这里转为xml格式是为了前期的分析跟后面的信息提取
            time.sleep(2)
            # 解析成xml文件
            font_content = TTFont(woff_path)
            font_content.saveXML(xml_path)
            # 获取字体对应的编码列表
            uni_list = font_content['cmap'].tables[0].ttFont.getGlyphOrder()
            uni_list = [uni_code for uni_code in uni_list if uni_code.startswith('uni')]

• 3.将字体文件转换为xml文件后，通过xml文件跟woff文件对部分加密文字跟对应编码一一映射

        # 判断拿到的编码在不在字体编码列表中
        if f'uni{str(code_one, encoding="utf-8")[2:]}' in uni_list:
            # 如存在，则解析对应的xml文件
            DOMTree = parse(xml_path)
            rootNode = DOMTree.documentElement
            # 找到字体文件的坐标标签
            contentNodes = rootNode.getElementsByTagName("glyf")[0].getElementsByTagName('TTGlyph')[1:]

• 4.根据映射关系将页面源码中的编码替换为相应的文字，至此解析完成

看下解析成功后的结果（内容较多，拿出一条来举例）：

# 解析之前的编码
[b'\\ue7e9', b'\\uecd9', b'\\uf1eb', b'\\uf350']
# 解析完成之后的真实数据
['2', '5', '6', '3']

最最后，看下存到MongoDB中的结果

最终结果

至此，CSS字体文件加密已经基本上分析完成，上面红框的部分信息不全的原因是字体映射我只做了其中一部分，所以有些加密的字体还没有做映射，有兴趣的可以自己研究一下。