1.selenium的安装(百度可以找到详细的安装过程)
1.1使用命令: pip install selenium
1.2下载对应版本的驱动:http://selenium-release.storage.googleapis.com/index.html
2.使用示例(爬取京东手机数据)
from lxml import etree
from selenium import webdriver
import time
# 使用selenium模拟人为访问页面,获取数据
def spider_jd(url):
# ChromeOptions() 函数中有谷歌浏览器的一些配置
options = webdriver.ChromeOptions()
# 告诉谷歌这里用的是无头模式
options.add_argument("headless")
# 创建谷歌浏览器对象
driver = webdriver.Chrome(options=options)
# 打开谷歌浏览器,进入指定网址的页面
driver.get(url)
# 模拟下拉页面动作,是动态页面加载
driver.execute_script("window.scrollTo(0,document.body.scrollHeight);")
# 停顿5秒等待页面加载完毕！！！（必须留有页面加载的时间，否则获得的源代码会不完整。）
time.sleep(5)
source = driver.page_source # 相当于 request.get(url, headers=header)
html = etree.HTML(source) # 创建xpath对象
goods_li = html.xpath('//ul[@class="gl-warp clearfix"]/li') # 获取页面商品列表li
with open('JD_Phone.txt', 'a', encoding='utf-8')as fp:
for li in goods_li:
try:
p_title = li.xpath("div/div[4]/a/em/text()")[0] # 标题
p_price = li.xpath("div/div[3]/strong/i/text()")[0] # 手机价格
p_shop = li.xpath('./div/div[7]/span/a/@title') # 直卖店
string = 'title:%s,price:%s,shop:%s' % (p_title, p_price, p_shop)
fp.write(string + '\n')
fp.flush()
except Exception as e:
print(e)
print('爬取完毕关闭浏览器')
driver.quit() # 爬取完毕关闭浏览器
if __name__ == '__main__':
for num in range(1, 97):
print('开始爬取数据')
url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&' \
'enc=utf-8&qrst=1&rt=1&stop=1&vt=2&cid2=653&cid3=655&page={}'.format(num*2-1)
spider_jd(url)
print('crawl_first:%s结束' % num)
