使用XPath
XPath，全称XML Path Language, 即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档中的搜索。
1，XPath概览
XML提供了非常简洁明了的路径
总结
1. 如何创建一个scrapy爬虫
在命令行输入scrapy startproject XXX XXX是工程名
然后cd进入子目录 输入scrapy genspider XX url xxx是要创建的爬虫名，可用scrapy crawl XX运行已经写好的爬虫 url是指要爬取的第一个网页
前期准备好以后，就可以用pycharm导入爬虫，然后就可以写代码了。
接下来就是遇到的各种问题：
爬虫的第一步就是禁JS，看看要爬取的内容是动态的还是静态的，静态的非常容易，返回的response用xpath或者用re解析，动态的话就要看xhr或者js，
一般来说，很多动态网页返回来的是json，这时候要解析的话，第一步先import json, 然后是json.loads(response.body),我们可能会用到decode('gbk'), 因为编码形式不同，如果不解码，返回来的可能是乱码。返回来的json可能还有些杂质，我们可以用scrapy shell "url"来调试，然后view(response)来看看返回来的json需要去除什么东西，然后用strip()函数去除。
举个例子，start_urls=['https://dc.3.cn/category/get?&callback=getCategoryCallback']
可以用scrapy shell 'url' 来看下返回内容。
view(response)
True
然后在一个txt中打开了返回的json，
因为里面有getCategoryCallback( )，直接用json函数没法解析，所以得用strip("getCategoryCallback( )")去掉,这里介绍一个很好用的解析json的谷歌浏览器插件，json handle，层次特别清晰
正则表达式 查找数字 r'\d+.\d+\d+'
查找汉字的话
re.search(ur'[\u4e00-\u9fa5]+', text)
正则表达式前面加了两个前缀ur，其中r表示使用原始字符串，u表示是unicode字符串。
未完有时间接着写
零宽断言
