今天在用Python爬取简历时,想把教育经历,工作经历一起输出来,即提取标签及其子标签下(多个标签下)的text内容。
XPath提取多个标签下的text内容
网上搜到的基本都是这篇文章:
用的xpath string(.) 我试了一下,还是报错。不得已准备用迭代的方式取出内容。后来发现是selector.xpath('//xxxx')取出来的应该是集合,这个地方应该是写错误了,data要加上索引,即代码应该是:
info = data[0].xpath('string(.)').extract()[0]
果然,修改后就得到了所有的文本内容。
再往文章上面看,作者写了一个tag:
tags: [xpath,Python,xml,scrapy]
是因为这仅仅是在scrapy下这样写的吗?正好这两天也在看scrapy,我就试着用scrapy抓取这段数据。
发现仍是一样,xpath('xxx')取出的就是集合,下一次操作时要么使用迭代,要么加上索引操作。
XPath提取数据块(结构性数据)的技巧
选取点放在包含结构性数据循环的地方,即取决大的地方,再用xpath向内取数据。就是先抓大再抓小。
如爬取简书上文章的信息,第一次selector要定在ul class="article-list thumbnails" 的li,<li></li>
中包含的就是一篇文章的信息。(注意li 的样式有两种 have-img 即有缩略图的)
articles = selector.xpath('//ul[@class="article-list thumbnails"]/li')
for article in articles:
title = article.xpath('div/h4/a/text()').extract()
url = article.xpath('div/h4/a/@href').extract()
author = article.xpath('div/p/a/text()').extract()