整了好久终于搞定了访问量信息……
先贴代码
import requests
from bs4 import BeautifulSoup
import urllib.request
import time
from urllib import request
import re
def get_url(whosell=0 ,start_page=1,end_page=2):#获取地址的函数
for i in range(start_page,end_page):
oriurl="http://bj.58.com/pbdn/"+str(whosell)+"/pn"+str(i)+"/"
wb_data = requests.get(oriurl)
soup = BeautifulSoup(wb_data.text,'lxml')
urls=[]
# print(soup.select('td.t a.t')[0].get('href'))
for link in soup.select('td.t a.t'):
if link.get('href').find('zhuanzhuan')>-1:
continue
else:
urls.append(link.get('href'))
return urls
def get_viewnum(url="http://bj.58.com/pingbandiannao/26053645925045x.shtml"):
id=re.findall('nao/(.*?)x.shtml',url,re.S)[0]#利用正则表达式查询当前页面的商品ID
api="http://jst1.58.com/counter?infoid="+id
req = request.Request(api)
req.add_header('Referer', url)#给请求头文件添加referer属性，这样才能模拟真实提交
#具体来说，只有当api的请求header中包含有来源地址的时候，才能获取到真实的数据，通过add_header函数添加referer字段即可
wb_data =request.urlopen(req)
total=str(wb_data.read()).split('=')[-1][:-1]
# print(total)
return total
def get_information(whosell=0,url="http://bj.58.com/pingbandiannao/26053645925045x.shtml"):#获取每个数据的函数
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
truthurl=request.urlopen(request.Request(url)).geturl()#获取当前页面的真实地址
data = {
'title':soup.title.text,
'price':soup.select('.price')[0].text if soup.find_all('span','price') else None,
# 'price':soup.select('.price')[0].text,
'area' :list(soup.select('.c_25d')[0].stripped_strings) if soup.find_all('span','c_25d') else None,
'date' :soup.select('.time')[0].text if soup.find_all('li','time') else None,
'cate' :'个人'if whosell == 0 else '商家',
'totalcount':get_viewnum(truthurl),
}
print(data)
urls0=get_url(0,1,5)#个人卖家从第一页到第5页的地址
urls1=get_url(1,1,5)#商家从第一页到第5页的地址
for url in urls0:
get_information(0,url)
time.sleep(2)
for url in urls1:
get_information(1,url)
time.sleep(2)
'''
Accept:*/*
Referer:http://bj.58.com/pingbandiannao/26053645925045x.shtml?psid=131338081191876322290139435&entinfo=26053645925045_0
User-Agent:Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
User-Agent:Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0
'''
输出信息(没贴完)
{'area': None, 'cate': '个人', 'title': '【图】收售苹果IPad-Pro-min-Air-平板电脑 苹果手表 - 平板电脑 - 北京58同城', 'price': '3888', 'date': '2016-05-19', 'totalcount': '224'}
{'area': ['海淀'], 'cate': '个人', 'title': '【图】北京授权实体店出售苹果,三星,微软平板,支持以旧换新 - 海淀平板电脑 - 北京58同城', 'price': '989', 'date': '2016-05-06', 'totalcount': '1132'}
{'area': ['越秀'], 'cate': '个人', 'title': '【图】送100元话费顶配全新三星11寸平板电脑1800万像素128G4G通话WiFi上网货到付款 - 越秀平板电脑 - 广州58同城', 'price': '470', 'date': '2016-05-21', 'totalcount': '17948'}
{'area': None, 'cate': '个人', 'title': '【图】ipad pro-可分期-验货签收 - 平板电脑 - 北京58同城', 'price': '1200', 'date': '2016-05-22', 'totalcount': '41'}
{'area': None, 'cate': '个人', 'title': '【北京分类信息】 北京免费发布信息网 - 北京58同城', 'price': None, 'date': None, 'totalcount': '30'}
{'area': ['大兴', '-', '高米店'], 'cate': '个人', 'title': '【图】台电X98plus - 大兴高米店平板电脑 - 北京58同城', 'price': '650', 'date': '2016-05-22', 'totalcount': '162'}
{'area': ['丰台', '-', '刘家窑'], 'cate': '个人', 'title': '【图】iPad4 64G 国行 WiFi 平板电脑 - 丰台刘家窑平板电脑 - 北京58同城', 'price': '700', 'date': '2016-05-22', 'totalcount': '39'}
{'area': ['崇文'], 'cate': '个人', 'title': '【图】全 新 OPPO.R9 正品金色64g - 崇文平板电脑 - 北京58同城', 'price': '1500', 'date': '2016-05-22', 'totalcount': '3'}
{'area': ['丰台'], 'cate': '个人', 'title': '【图】iPad Air 64G 国行 WiFi+4G 平板电脑 在保修期内 - 丰台平板电脑 - 北京58同城', 'price': '1650', 'date': '2016-05-22', 'totalcount': '216'}
{'area': ['丰台', '-', '刘家窑'], 'cate': '个人', 'title': '【图】iPad mini 四代 64G 国行 WiFi 平板电脑 - 丰台刘家窑平板电脑 - 北京58同城', 'price': '1300', 'date': '2016-05-22', 'totalcount': '239'}
{'area': ['朝阳', '-', '石佛营'], 'cate': '个人', 'title': '【图】灰色iPad mini2，插卡32g美版 - 朝阳石佛营平板电脑 - 北京58同城', 'price': '1200', 'date': '2016-05-22', 'totalcount': '3'}
{'area': ['朝阳', '-', '农业展览馆'], 'cate': '个人', 'title': '【图】iPad 2 国行 16G WIFI - 朝阳农业展览馆平板电脑 - 北京58同城', 'price': '990', 'date': '2016-05-22', 'totalcount': '42'}
{'area': ['通州', '-', '通州北苑'], 'cate': '个人', 'title': '元征x431PRO3 - 通州通州北苑平板电脑 - 北京58同城', 'price': '3000', 'date': '2016-05-22', 'totalcount': '1'}
{'area': None, 'cate': '个人', 'title': '【图】iPad mini4 64G 国行 WiFi+4G 平板电脑 有正品发票 - 平板电脑 - 北京58同城', 'price': '1320', 'date': '2016-05-22', 'totalcount': '122'}
{'area': None, 'cate': '个人', 'title': '【图】iPad4 64G 国行 WiFi+4G 平板电脑 - 平板电脑 - 北京58同城', 'price': '650', 'date': '2016-05-22', 'totalcount': '197'}
有几个难点：
1.找到api接口地址
2.将referer信息添加到header中
3.将商品ID取出来（好像必须用正则）
4.取到商品的具体访问量
