Scrapy是什么？
一个主流的爬虫框架
怎么装？
pip install scrapy
对于python 3.4以上版本，请用
pip3 install scrapy
scrapy 框架会依赖一些其他框架，如安装过程提示缺少其他框架请自行安装
动态网页是什么？
按F12，Element 和 Source 不一致，Source这个静态页面是不完整的。我们需要爬取的内容在Soucre页面找不到
爬取动态网页主要有两种思路：
1. 找到数据文件，如*.json，直接爬取Json文件并解析里面想要的数据
2. 调用浏览器执行动态网页，待网页的动态加载完成后再像对静态网页那样进行爬取
使用selenium调用浏览器执行动态页面需安装：
pip install selenium
pip install chromedriver_installer
xpath 语法：
self.browser.find_elements_by_xpath 返回所有符合xpath的WebElements
任何一个WebElement都可以调用find_element(s)_by_xxx， 在xpath表达式中使用.约束在当前WebElement内查找
参考http://www.w3schools.com/xml/xpath_syntax.asp
xp.PNG
WebElement.text返回文本内容
WebElement.getattribute(href)获取attribute value
代码：
import time
from scrapy.spider import Spider
from selenium import webdriver
class LiCaiSpider(Spider):
name = "LiCai"
allowed_domains = ["haohaolicai.com"]
start_urls = [
"https://www.haohaolicai.com/page/borrow/period_profit.jsp?borrowWay=5"
# "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def __init__(self)
# use any browser you wish
self.browser = webdriver.Chrome() #使用前请安装对应的webdriver
def __del__(self):
self.browser.close()
def parse(self, response):
#start browser
self.browser.get(response.url)
sampleSet = set()
ItemList = self.browser.find_elements_by_xpath('//div[@class="period_model"]/ul')
for item in ItemList:
optText = item.find_element_by_xpath('.//li[@class="period_model_li6"]/a').text
monText = item.find_element_by_xpath('.//li[@class="period_model_li4"]/span').text
if( monText == '6' and optText =='立即投资'):
sampleSet.add(item.find_element_by_xpath('.//li[@class="period_model_li1"]').text)
filename = 'mycrapy'
open(filename, 'w').write(repr(sampleSet))
