本文爬取了在淘宝首页上输入文胸后弹出的数据,因为淘宝的商品都是通过JS渲染出来的动态数据,所以本文用到了selenium,但是用的过程中发现了selenium的局限性,会在下文中提到,当然也可能是本人学艺不精,对selenium这个神器了解不足,先说下思路,首先是进入文胸搜索的首页,然后爬取所有商品链接,最后用多进程提取每个商品的信息,再写进文件
首先导入用到的库,本人是想到用哪个再导入哪个的
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import time
import re
from bs4 import BeautifulSoup
import requests
import lxml
from lxml import html
import csv
header={
'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36'
}这里是伪装成chrome浏览器
from multiprocessing.dummy import Pool
all_links=[]
all_products =[]
Paste_Image.png
def get_all_links(url):这个函数是提取淘宝首页每个商品的链接的
all_links = []
driver = webdriver.Chrome()让浏览器模拟人工操作,提取动态数据
driver.get(url)
driver.execute_script('window.scrollBy(0,3000)')
time.sleep(2)
driver.execute_script('window.scrollBy(0,5000)')让屏幕滚动下面,确保找到所有商品数据
time.sleep(2)
data = driver.find_element_by_class_name('m-itemlist')如图,这里匹配到了所以商品所在的div
time.sleep(2)
we_data = driver.page_source
#print(we_data)
soup = BeautifulSoup(we_data,'lxml')将获得的页面用Beautiful解释,不过selenium也有字体的方法提取,
不过本人习惯用find函数提取数据,于是就没有采取selenium的提取方法
links =soup.find('div',{'class':'m-itemlist'}).findAll('a',href=re.compile('^(//detail)).*(0)$'))
这里用了findAll函数搭配正则,因为链接太复杂,用了xpath实在写不出
看了看,商品链接都是//detail开头的,这样就抓出了第一页所有包含链接的a标签
如图,定位到所有商品的div里面,然后用正则匹配每个链接
Paste_Image.png
#print(links)
for link in links:
if 'href' in link.attrs:
#print(link.attrs['href'])
all_links.append(link.attrs['href'])千万记得,我们还要将链接提取出来
print(len(all_links),all_links)
return all_links返回所以链接
def get_data(url):
each_products={}构造一个空字典.因为每个商品都是由产地,标题,价格等组成,所以用字典保存商品信息是最理想的
link = 'http:'+url抓取出来的链接前面是没有http:字符的,所以在手动添加,这样才能打开链接
#print(link)
each_products['link']=link为字典添加数据,下面同理
all_data = requests.get(link,headers=header).content
time.sleep(2)
selector = lxml.html.document_fromstring(all_data)用lxml库
#print(selector)
title = selector.xpath('//div[@class="tb-detail-hd"]/h1/text()')[0].replace('\t','').replace('\r','').replace('\n','')
清理数据,
标题很多换行空格符号,如图
#print(title)
each_products['title']=title为字典添加数据
price = selector.xpath('//div[@class="tm-promo-price"]/span/text()')
<>首先这里说明一下,这里调节了一个小时左右,
反复确认这个xpath没有错,最后都没有提取出价格,最后心灰意冷,看了看源代码,发现每个页面的价格也是JS动态数据加载进去的.....
心中一万只草拟马奔腾而过,只能感叹现在的实力抓不了,因为如果再在这里用selenium的我电脑会死的,因 为一页就有50左右的链接,我电脑扛不住的,
所以感觉面对这种类型的网页selenium就很有局限性,也希望有大神教我解决怎么抓取加个这个问题,这个坑只能以后来填了
#print(price)
each_products['price']=price
shop_name= selector.xpath('//div[@class="slogo"]/a/strong/text()')[0]
#print(shop_name)
each_products['shop_name']=shop_name
area = selector.xpath('//li[@class="locus"]/div[@class="right"]/text()')[0].replace('\n','').replace(' ','')
#print(area)
each_products['area']=area
all_products.append(each_products)这样就构造了一个由字典组成的列表,也方便写进csv格式的文件
打印出来的字典是这样的
Paste_Image.png
def writedata(all_products):
with open('taobao_bra','w',encoding="UTF-8",newline='')as f:
writer = csv.DictWriter(f,fieldnames=['title','area','shop_name','price','link'])因为是字典组成的列表,且key值一样,
所以可以用DictWriter方法将文件按一定的key值排序写进文件
writer.writeheader()
for i in all_products:
#print(i)
writer.writerow(i)
if __name__ == '__main__':
url = 'https://s.taobao.com/search?q=%E6%96%87%E8%83%B8'淘宝搜索文胸的首页
#print(url)
time.sleep(1)
links=set(get_all_links(url))获得所有连接
pool=Pool()
pool.map(get_data,links)这里是提取数据,这里函数记得不用写括号
print(all_products)
writedata(all_products)写进文件
最后效果图,每个商品的链接是还可以用split简化的,也挺简单,这里就不提,希望有大神告诉我怎么提取价格....
Paste_Image.png
