寒暄一下,本人刚入门python不久,非常喜欢爬虫,平时没事儿的时候就喜欢研究一下,最近一个月一直在研究字体,想一步一步的把字体解析相关的知识都学一下,今天先分享一下研究了俩礼拜的字体反爬,代码结构写的比较初级,仅是交流,废话比较多,只是交流想法和经验,不喜勿喷。
此前爬取大众点评的时候其实难度不大,xpath就能解决,从18年12月前后开始增加了字体的反爬,反爬技术更新了好几次,此前的就不写了,现在在研究最新的。如下仅供学习参考,不允许作为商业用途,内容为基本逻辑+局部代码,逻辑通了代码肯定是没问题的,知识得自己一点一点积累,大家加油吧。
还有,这个脚本并不健壮,比如可能会存在list为空,读取值得时候报错的问题等,这些你自己加条件控制就好了,各有各的写法,大家好自珍重,健壮的脚本需要后续一点一点补充和维护。
先贴结果镇楼
{
'address': '鼓楼东大街202号',
'area': '南锣鼓巷/鼓楼东大街',
'ave_price': '¥23',
'fuwu': '8.8',
'huanjing': '8.1',
'kouwei': '9.1',
'title': '杨记烤肉',
'url': 'http://www.dianping.com/shop/22069001'
}
如下只介绍美食页的一页数据,例入:http://www.dianping.com/search/keyword/2/10_烤串
如下粘贴的所有代码都是基于scrapy框架的,所以如果要用普通的xpath,请自己根据思路转换,还是那句话,多琢磨琢磨逻辑关系比粘来就用强千百倍。
爬取思路:
1、先贴引用的库,前两个是引用的scrapy的库,第三个是正则表达式,第四是requests,最后一个是字体的处理库。
# -*- coding: utf-8 -*-
import scrapy
from dianping.items import DianpingItem
import re
import requests
import json
from fontTools.ttLib import TTFont
2、读取页面源码,选取想要爬取的网页元素,使用xpath定位爬取;
def parse(self, response):
for each in response.xpath('//*[@id="shop-all-list"]/ul/li'):
item = DianpingItem()
item['title'] = each.xpath('div[2]/div[1]/a[1]/h4/text()').extract()[0]
item['url'] = each.xpath('div[1]/a/@href').extract()[0]
……
3、打印结果发现地址、商圈、客单价、评分位置打印出来的结果不完整,开发者工具选取位置看到如下图的格式,此时经过多方查找资料以后搞明白了这是一种字体反爬技术。页面通过css技术传入一组字体文件,这些字体文件都是提前通过字体软件裁剪好的文件,通过css将网页中的unicode的编码转换为指定的文字。如果不通过css转码,展示的效果就会如下图3-1所示。
此处普及一个关于unicode的知识,就是操作系统、word和浏览器等之所以能够识别不同的字体文件中的文字,是因为他们所有的文字都用统一的unicode,所以电脑并不是读懂了文字,而是读懂了unicode,然后转换为了文字。字体反爬用到的字体包里的文字和unicode是不对应的,所以浏览器才会不识别,换言之就是说字体反爬使用的字体包中汉字对应的uniciode不是正常的真实的那个码,是程序员在unicode的后面找了一些码给硬安排上的,所以显示出来可能是个正常的不认识的符号或别国文字,或者索性就是框框。
继续,此处接触问题的基本思路是找到字库文件,找到字库文件中unicode和汉字的对应关系,然后替换掉异常的unicode。
(1)找到css的位置,如下图3-1地址位置有五个字是显示异常的,而且格式很一致,都使用css。如图3-2找到对应的css。
这块看不出来,直接对着页面右键查看源码,找到这个css,图3-3
(2)打开这个css,内容如下:
@font-face{font-family: "PingFangSC-Regular-shopNum";src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/620c796e.eot");src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/620c796e.eot?#iefix") format("embedded-opentype"),url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/620c796e.woff");} .shopNum{font-family: 'PingFangSC-Regular-shopNum';}@font-face{font-family: "PingFangSC-Regular-address";src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/e8ac2205.eot");src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/e8ac2205.eot?#iefix") format("embedded-opentype"),url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/e8ac2205.woff");} .address{font-family: 'PingFangSC-Regular-address';}@font-face{font-family: "PingFangSC-Regular-reviewTag";src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/8dae1f86.eot");src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/8dae1f86.eot?#iefix") format("embedded-opentype"),url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/8dae1f86.woff");} .reviewTag{font-family: 'PingFangSC-Regular-reviewTag';}@font-face{font-family: "PingFangSC-Regular-tagName";src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/ca8f6119.eot");src:url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/ca8f6119.eot?#iefix") format("embedded-opentype"),url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/ca8f6119.woff");} .tagName{font-family: 'PingFangSC-Regular-tagName';}
这块叨逼叨两句,如上每个json里都有好几个字体文件,这块是因为浏览器兼容的问题造成的,不知道原因的自行百度。
尝试下载字体包,可以使用百度字体编辑器(http://fontstore.baidu.com/static/editor/index.html)打开,也可以使用fontcreator软件打开(如下图3-4是软件打开的效果)。
打开以后我吓了一大跳,这个字体包字儿真多,一共603个,我下载了4个,此后又下了9个,发现都一样有603字,而每个字体包中字对应的unicode一般都不一样,此处留个梗,看下一段。
css的地址会随时间变化,所以系统可能随机生成了很多字体包,每一个css中我们会发现是4组字体,在这块我大概停留了一个礼拜的时间,这个节点有几个思考和尝试,首先我们看到这个字体包是PingFangSC-Regular,我在思考是否可以直接用完整的字体包来解析,而省去找对应关系的尴尬,因为这块其实就是读取woff文件,然后找到字形相关的参数做对比,如果字形参数一致就认作是同一个字,然后返回最新的字和unicode对应关系,所以在这个节点上需要一个我们已知对应关系的字体库。而正常的字体库的汉字和unicode的对应关系是一定的,因此我自己还专门给自己建了一个unicode对照表……经过一番折腾以后发现……30多款pingfang字体库没有一个字体库里的汉字能够和下载下来的woff字形文件匹配的上!!!点评的程序员哥哥们做的有点绝了,所以我自己只能把603个字符和unicode的对应关系一个一个敲出来(一会附上)。
第二个思考就是这个字体文件里都装些啥玩意,我该怎么处理这些信息并提炼出我想要的信息呢?查了大量资料,python用到了一个三方库fonttools,先把woff或者ttf文件转化为xml,打开xml会发现字体文件其实都是一些对应关系,自己找个工具动动手自己解析看看,我们能用到的就是unicode和对应的字形信息,所谓字形信息像是一些坐标,一些工具读出来可能就是个汉字或者汉字图,至于怎么读并不重要,c或者java应该都能实现,这个也是我后续研究的课题,暂时略过,你们自己再pycharm上调用fonttools库,引用的时候会自己弹出来一堆函数,可以挨个试试得出来的结果,我就是这么自己琢磨的,我使用fonttools 主要是干两件事1是找到unicode,2是找到unicode对应的字形信息。
(3)使用正则表达式提取woff链接
如下是代码(获取css、下载和解析woff)
def parse(self, response):
#print(response.text)
#正则表达式获取css链接
css_url="http:" + re.findall(r'(//.+svgtext.+\.css)',response.body.decode('utf-8'))[0]
#css_url="http://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/c6477fbab101bee5040777e08a62e13c.css"
#print(css_url)
css_res = requests.get(css_url).text
#print(css_res)
#print(css_res)
#正则表达式获取class信息和url
font_infos = re.findall('@font-face\{(.*?)\}', css_res)
# print(font_infos)
json_woff = {}
for font_info in font_infos:
# print(font_info)
font_family = re.findall('font-family: "(.*?)";src', font_info, re.S)[0]
font_type = re.findall('.*-([^-]*)";src', font_info, re.S)[0]
woff_url ="http:" + re.findall('\),url\("(.*?)"\);', font_info, re.S)[0]
woff_name = re.findall('[^/]+(?!.*/)', woff_url, re.S)[0]
#print(font_family, font_type, woff_url, woff_name)
#将解析后的url读取存在本地,并将对应关系存入json
path ="D:\\mywork\\project\\dianping\\dianping\\font\\" + woff_name
r = requests.get(woff_url)
with open(path, "wb")as f:
f.write(r.content)
f.close()
json_woff[font_type] = path
#print(json_woff)
#如下是分类处理字体文件找到unicode和字符的最新对照,后面会有parse_font的内容。
address_temp = font_tool.parse_font(json_woff['address'])
shopNum_temp = font_tool.parse_font(json_woff['shopNum'])
reviewTag_temp = font_tool.parse_font(json_woff['reviewTag'])
tagName_temp = font_tool.parse_font(json_woff['tagName'])
4、处理woff字体文件
这块信息量非常大,逻辑简述一下
(1)找一个已经下载的woff作为基础库,然后用软件打开人工一个一个敲出来unicode和字符的对应关系,按照对应顺序做俩list,把这些信息都放进去;
# 读取文件名与css名称做匹配
baseFonts = TTFont("D:\\mywork\\project\\dianping\\dianping\\font\\" +"first" +".woff")
uni_num = ['unied61', 'unie6a6', 'unie001', 'unie621', 'unie5b0', 'unif4d1', 'unie1be', 'unif274', 'unif46d',
'uniefeb', 'uniebb0', 'unie2d2', 'unie964', 'unie878', 'unie667', 'unie8bf', 'uniea3c', 'unie6f5',
'unie4f0', 'unif6d7', 'unieffd', 'unie13f', 'unif843', 'unie184', 'unie2a9', 'unif723', 'unie683',
'unif3a3', 'uniee31', 'unif345', 'unie0c8', 'unie919', 'unie9dd', 'unif2b6', 'unif113', 'unif313',
'unie01e', 'unie4db', 'unie5e9', 'unie42a', 'unif13f', 'unif064', 'unie443', 'uniebfb', 'unie832',
'uniefa3', 'unif01b', 'unie6be', 'unif885', 'unie455', 'unif434', 'unif6f8', 'unif68f', 'uniee42',
'unif355', 'unie7c0', 'unif70d', 'unie67d', 'uniebcc', 'unie70c', 'unieddd', 'unie34c', 'unie0b7',
'unie61e', 'unif65c', 'unie0b0', 'unie1c6', 'unif19e', 'unie19d', 'unif06e', 'unif846', 'unieb78',
'uniee32', 'unie5a1', 'uniedba', 'unie2bf', 'unief45', 'unie567', 'unie821', 'unie754', 'unie387',
'unif4bc', 'unied86', 'unie6f4', 'unif8d3', 'unie93a', 'uniea13', 'uniee66', 'unif361', 'uniecbf',
'unif4d5', 'unif5ef', 'unie4b9', 'unie132', 'unif889', 'uniec13', 'unie65d', 'unif711', 'unie923',
'uniede0', 'unie54b', 'unief3f', 'unie3d7', 'unie1dc', 'unif09c', 'unie363', 'unie105', 'unie5c4',
'unieda4', 'uniefe4', 'unie20d', 'unie3cc', 'unie7bf', 'unie61d', 'unif573', 'unie4d6', 'unie52c',
'unif89e', 'unie84d', 'unie682', 'unie4c1', 'unie7a9', 'unie2de', 'unie03a', 'unif607', 'unif161',
'uniea8b', 'unied77', 'unif737', 'unif6e2', 'unif76e', 'unif181', 'unieb64', 'unieff3', 'unif0de',
'unie052', 'unif74c', 'unie580', 'uniedeb', 'unif767', 'unieea9', 'unif016', 'unied74', 'unif483',
'unieb44', 'unif19a', 'unieabb', 'unie8ae', 'unie6ed', 'unie223', 'unie5b8', 'unie59d', 'unie1bb',
'unie4f2', 'unie992', 'unie0a9', 'uniea6e', 'unied2d', 'unie41c', 'uniee20', 'unie1a0', 'unif670',
'unie6cd', 'unie570', 'unie357', 'unif71b', 'unif11c', 'unie034', 'unif029', 'unif3c7', 'unie938',
'unie173', 'unie0a1', 'unie5b7', 'unif353', 'unie413', 'unie8a2', 'unif32a', 'unif30b', 'uniefc7',
'unie66d', 'unieaf9', 'unie43a', 'unie677', 'unie328', 'unif0c1', 'unie451', 'unif1ea', 'unif035',
'unie0e9', 'unie932', 'unie545', 'uniea1e', 'unie800', 'unif5b0', 'unie71c', 'unif31f', 'unif684',
'unif481', 'uniec32', 'unif504', 'unieb13', 'unieb3d', 'unif014', 'unif873', 'unif5ba', 'unif79b',
'unie804', 'unie39e', 'unied9c', 'unif357', 'unie6c9', 'unie98c', 'uniec38', 'unie41d', 'unif4ec',
'unif0b3', 'unif5cc', 'uniea87', 'unie399', 'unif7ba', 'unif0ab', 'unieaef', 'unie537', 'unif808',
'unief25', 'unif4e4', 'uniecef', 'unif725', 'unieca2', 'unie2e7', 'unif67b', 'unif230', 'unie2cd',
'uniefc8', 'unif44d', 'uniee34', 'unif726', 'unie325', 'unif775', 'unieed0', 'unie7ae', 'unie469',
'unif207', 'unieb9c', 'unif5fa', 'unie765', 'unif092', 'unie4e9', 'unie38b', 'unie649', 'unief42',
'unie706', 'uniefdd', 'unie2d1', 'unied57', 'unif0c9', 'unie4ba', 'unie795', 'unie4e1', 'unie0ef',
'unie653', 'unie4b2', 'unif123', 'unieff7', 'unif4d6', 'unieda3', 'unif6e4', 'unie613', 'unif7cc',
'unie685', 'unieafc', 'unif32c', 'unie0f4', 'uniec8a', 'unif42b', 'unie09b', 'uniea20', 'unied6e',
'unie098', 'unie68d', 'unieb3e', 'unie867', 'unif307', 'unif85f', 'unie7cd', 'unie0af', 'unif6da',
'uniea55', 'unie0ca', 'unif636', 'unif152', 'unif7e1', 'unie85d', 'unif2ff', 'unie436', 'unie278',
'unie6d9', 'unie0d5', 'unie99d', 'unif827', 'unie761', 'unif344', 'unif640', 'unie030', 'unie06d',
'unie02f', 'unie3cd', 'unie2cb', 'unie7a6', 'unie5f3', 'unieca8', 'unif55b', 'unieddb', 'unif86d',
'unieb40', 'unieabf', 'unif241', 'unief05', 'uniefcb', 'unie82c', 'unied15', 'unie7ff', 'unif285',
'unie8c2', 'unif639', 'unie70b', 'unif1c7', 'unif44f', 'unif093', 'unief15', 'uniefd5', 'unif3f5',
'unief50', 'unie064', 'unif84f', 'uniee97', 'unif8f9', 'unie033', 'unie9be', 'unif63f', 'uniea6f',
'unif884', 'unie943', 'unieafb', 'unif267', 'unif2d7', 'unif0da', 'unie3eb', 'uniecea', 'unif55a',
'uniee99', 'unie10c', 'unie4f8', 'unif047', 'uniefb8', 'unif4cd', 'unie448', 'unie078', 'unif336',
'unie0cf', 'unieab1', 'unie3ca', 'unieee7', 'uniebd3', 'uniedf0', 'unied4c', 'unie6ae', 'unief38',
'unie23d', 'unied99', 'unie42d', 'unif82b', 'unie8d9', 'unie0bf', 'unie79e', 'unie047', 'unif18d',
'uniebfc', 'unieaf3', 'unie89c', 'unif374', 'unie178', 'unie6b4', 'unie591', 'unie7eb', 'uniead8',
'unif34e', 'unie1ce', 'unieb36', 'unif119', 'uniefd6', 'unie8ed', 'unie33e', 'unied09', 'unie17a',
'unif820', 'unif293', 'unied0b', 'unie8a7', 'unif426', 'unif37f', 'unif1c6', 'unie93d', 'unif7bb',
'unie5c7', 'unif449', 'unif87e', 'unie782', 'unie138', 'unif747', 'unie1cb', 'unif543', 'unie4a1',
'unif34f', 'unie929', 'unie4a8', 'unif6dc', 'unie8fc', 'unif155', 'unief54', 'unie7f1', 'unie7af',
'unif303', 'unif6ae', 'unif33f', 'uniec80', 'uniecc7', 'unie6d0', 'uniefc6', 'unie8e8', 'unie828',
'unie585', 'unie35e', 'unie391', 'unie342', 'unif789', 'unif6d8', 'unie426', 'uniecc6', 'unif4e3',
'unif6c9', 'unif1e2', 'unif5b7', 'unif53e', 'unif7ec', 'unif317', 'unie51f', 'unie30e', 'unieaf6',
'unif25a', 'unif061', 'unif581', 'unif66a', 'unied62', 'unif0ad', 'unie7d2', 'unief67', 'unie799',
'unif036', 'unie3b3', 'unie83d', 'unif44c', 'unie356', 'unieba0', 'unie3c3', 'unief95', 'unie1cd',
'unie3db', 'unif23d', 'unie160', 'uniea5a', 'unif56b', 'unif309', 'uniede3', 'unie039', 'unif7be',
'unie33c', 'unif6c5', 'unied12', 'unie51d', 'unif6b8', 'unie986', 'uniec1e', 'unif09e', 'unif578',
'unie9bf', 'unie463', 'unie9f9', 'unif2d0', 'unieb55', 'unief2e', 'uniea44', 'unie6fa', 'unif563',
'unif0e8', 'unif814', 'unieee0', 'unif8ed', 'uniee64', 'unie57b', 'unie565', 'unie5be', 'unif0d6',
'unie161', 'unif89a', 'unieeaa', 'unied9a', 'unie3a9', 'unie967', 'unie5b2', 'unif675', 'unif3e7',
'unief9c', 'unie53c', 'unif565', 'unie54c', 'unie501', 'unie6c7', 'unif35c', 'unie7b2', 'unif654',
'unif6f5', 'unie796', 'uniedac', 'unie388', 'unif149', 'unie069', 'unief1a', 'unif38b', 'uniea08',
'unif2f7', 'unif52d', 'unie770', 'uniec96', 'uniec09', 'unie121', 'unie053', 'uniee24', 'unie1b9',
'unif739', 'unie020', 'unif146', 'uniee51', 'uniedef', 'unie956', 'unieaa1', 'unie548', 'unif304',
'uniea56', 'unie83c', 'unie3bf', 'unie137', 'unif188', 'uniea4d', 'unif421', 'unif30f', 'unie499',
'unie244', 'unie7f9', 'unif350', 'unie352', 'unif84c', 'unie256', 'unie58f', 'unieda2', 'unieab4',
'unif390', 'unie60b', 'unie0be', 'unie72a', 'uniea57', 'unif67a', 'unie280', 'unie1d1', 'uniedbf',
'unif007', 'unie3e8', 'unie9cf', 'unie616', 'uniee5b', 'unie51a', 'unif5e1', 'unif442', 'unie419',
'unif89f', 'unif5c7', 'unif6e6', 'unie37f', 'unie4c6', 'unieb7b', 'unif283', 'uniea71', 'unie7de',
'unif4b1', 'unie6e7', 'unie2d7', 'unie575', 'uniee71', 'unief31', 'unie273']
uni_name = ['1', '2', '3', '4', '5', '6', '7', '8', '9', '0', '店', '中', '美', '家', '馆', '小', '车', '大', '市', '公',
'酒', '行', '国', '品', '发', '电', '金', '心', '业', '商', '司', '超', '生', '装', '园', '场', '食', '有', '新', '限',
'天',
'面', '工', '服', '海', '华', '水', '房', '饰', '城', '乐', '汽', '香', '部', '利', '子', '老', '艺', '花', '专', '东',
'肉',
'菜', '学', '福', '饭', '人', '百', '餐', '茶', '务', '通', '味', '所', '山', '区', '门', '药', '银', '农', '龙', '停',
'尚',
'安', '广', '鑫', '一', '容', '动', '南', '具', '源', '兴', '鲜', '记', '时', '机', '烤', '文', '康', '信', '果', '阳',
'理',
'锅', '宝', '达', '地', '儿', '衣', '特', '产', '西', '批', '坊', '州', '牛', '佳', '化', '五', '米', '修', '爱', '北',
'养',
'卖', '建', '材', '三', '会', '鸡', '室', '红', '站', '德', '王', '光', '名', '丽', '油', '院', '堂', '烧', '江', '社',
'合',
'星', '货', '型', '村', '自', '科', '快', '便', '日', '民', '营', '和', '活', '童', '明', '器', '烟', '育', '宾', '精',
'屋',
'经', '居', '庄', '石', '顺', '林', '尔', '县', '手', '厅', '销', '用', '好', '客', '火', '雅', '盛', '体', '旅', '之',
'鞋',
'辣', '作', '粉', '包', '楼', '校', '鱼', '平', '彩', '上', '吧', '保', '永', '万', '物', '教', '吃', '设', '医', '正',
'造',
'丰', '健', '点', '汤', '网', '庆', '技', '斯', '洗', '料', '配', '汇', '木', '缘', '加', '麻', '联', '卫', '川', '泰',
'色',
'世', '方', '寓', '风', '幼', '羊', '烫', '来', '高', '厂', '兰', '阿', '贝', '皮', '全', '女', '拉', '成', '云', '维',
'贸',
'道', '术', '运', '都', '口', '博', '河', '瑞', '宏', '京', '际', '路', '祥', '青', '镇', '厨', '培', '力', '惠', '连',
'马',
'鸿', '钢', '训', '影', '甲', '助', '窗', '布', '富', '牌', '头', '四', '多', '妆', '吉', '苑', '沙', '恒', '隆', '春',
'干',
'饼', '氏', '里', '二', '管', '诚', '制', '售', '嘉', '长', '轩', '杂', '副', '清', '计', '黄', '训', '太', '鸭', '号',
'街',
'交', '与', '叉', '附', '近', '层', '旁', '对', '巷', '栋', '环', '省', '桥', '湖', '段', '乡', '厦', '府', '铺', '内',
'侧',
'元', '购', '前', '幢', '滨', '处', '向', '座', '下', '県', '凤', '港', '开', '关', '景', '泉', '塘', '放', '昌', '线',
'湾',
'政', '步', '宁', '解', '白', '田', '町', '溪', '十', '八', '古', '双', '胜', '本', '单', '同', '九', '迎', '第', '台',
'玉',
'锦', '底', '后', '七', '斜', '期', '武', '岭', '松', '角', '纪', '朝', '峰', '六', '振', '珠', '局', '岗', '洲', '横',
'边',
'济', '井', '办', '汉', '代', '临', '弄', '团', '外', '塔', '杨', '铁', '浦', '字', '年', '岛', '陵', '原', '梅', '进',
'荣',
'友', '虹', '央', '桂', '沿', '事', '津', '凯', '莲', '丁', '秀', '柳', '集', '紫', '旗', '张', '谷', '的', '是', '不',
'了',
'很', '还', '个', '也', '这', '我', '就', '在', '以', '可', '到', '错', '没', '去', '过', '感', '次', '要', '比', '觉',
'看',
'得', '说', '常', '真', '们', '但', '最', '喜', '哈', '么', '别', '位', '能', '较', '境', '非', '为', '欢', '然', '他',
'挺',
'着', '价', '那', '意', '种', '想', '出', '员', '两', '推', '做', '排', '实', '分', '间', '甜', '度', '起', '满', '给',
'热',
'完', '格', '荐', '喝', '等', '其', '再', '几', '只', '现', '朋', '候', '样', '直', '而', '买', '于', '般', '豆', '量',
'选',
'奶', '打', '每', '评', '少', '算', '又', '因', '情', '找', '些', '份', '置', '适', '什', '蛋', '师', '气', '你', '姐',
'棒',
'试', '总', '定', '啊', '足', '级', '整', '带', '虾', '如', '态', '且', '尝', '主', '话', '强', '当', '更', '板', '知',
'己',
'无', '酸', '让', '入', '啦', '式', '笑', '赞', '片', '酱', '差', '像', '提', '队', '走', '嫩', '才', '刚', '午', '接',
'重',
'串', '回', '晚', '微', '周', '值', '费', '性', '桌', '拍', '跟', '块', '调', '糕']
(2)把此后下载的任意一个woff字库打开后去跟基础库做信息比对,比对两个库中字形信息完全一致的那个unicode,利用unicode反向去list中找对应的字符,最终把最新的对应关系存成json。
#此处online是最新下载的woff,base是基础库
onlineFonts = TTFont(online_dir)
#这块自己多print,这里baseFonts.getGlyphNames()是获取的woff中去除第一个和最后一个的所有字符信息,第一个和最后一个都没啥用
base_glyphNames = baseFonts.getGlyphNames()[1:-1]
online_glyphNames = onlineFonts.getGlyphNames()[1:-1]
temp = {}
#通过计算基础list的长度来计算循环次数
a =len(uni_num)
for i in range(0, a):
for j in range(0, a):
#这里在比对字形是否一致
if onlineFonts['glyf'][online_glyphNames[i]] == baseFonts['glyf'][base_glyphNames[j]]:
#这里在遍历list找到base_glyphNames[j]对应的unicode对应的k
for k in range(0,a):
if uni_num[k]==base_glyphNames[j]:
temp["u" + online_glyphNames[i][3:].lower()] = uni_name[k]
else:
pass
else:
pass
5、字体替换
这里有个坑,就是头上带“\u”的unicode,用print打印以后都会被转译,最终要么就成空白,要么就是其他的字儿。这里如果不想被转译,那就将存储unicode的list直接转化为字符串,然后用正则表达式把unicode 提取出来即可。
以地址信息为例,直接贴代码
#---------------------------------------地址------------------------------------------------------
#这里返回的是一个list,内容自行打印,直接字符串化
addresses=str(each.xpath('div[2]/div[3]/span').extract()[0])
address_list=re.findall('\>(.*?)\<',addresses, re.S)
#这里在获取最新address对应的json的key的list
address_key=list(address_temp.keys())
address_list =str(address_list)
address =""
for m in re.findall("'(.*?)'", address_list, re.S):
#print(m)
address_info =str(m.replace("\\", ""))
if address_info =="":
pass
elif address_info in address_key:
address = address + address_temp[address_info]
else:
address = address + address_info
#print(address)
item['address'] =address
这里面太多细节了,我把我的坑基本都说了,其他的东西大家自己领悟吧。