结果
Result.png
我的代码
#!/usr/bin/env python
#-*- coding: utf-8 -*-
__author__ = 'CP6'
import requests
import time
from bs4 import BeautifulSoup
urls = ['http://bj.58.com/pbdn/pn{}'.format(str(i)) for i in range(1, 10)]
headers = {
'UserAgent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.21 Safari/537.36'
}
def get_info(url):
wb_data = requests.get(url, headers=headers, timeout=6)
soup = BeautifulSoup(wb_data.text, 'lxml')
time.sleep(3)
# print(soup.title.text)
titles = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > h1')
lookTimes = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > p > span.look_time')
prices = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.price_li > span > i')
cates = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.biaoqian_li')
areas = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.palce_li > span > i')
for title,lookTime,price,cate,area in zip(titles,lookTimes,prices,cates,areas):
data = {
'title':title.get_text(),
'lookTime':lookTime.get_text(),
'price':price.get_text(),
'cate':cate.text.replace('\n','').replace(' ',''),
'area':area.get_text()
}
print(data)
# with open('info.txt','wb') as fs:
# fs.write(wb_data.content)
def main():
for single_url in urls:
single_url = 'http://bj.58.com/pbdn/pn1'
wb_data = requests.get(single_url, headers=headers, timeout=6)
soup = BeautifulSoup(wb_data.text, 'lxml')
links = soup.select('tr.zzinfo > td.img > a')
for link in links:
get_info(link.get('href'))
# 只有直接执行脚本才会运行下面的函数，如果其他文件引用这个文件，下面的函数不会执行
if __name__ == '__main__':
main()
总结
-
**1.注释 **
#!/usr/bin/env python
#-*- coding: utf-8 -*-
**第一行注释是为了告诉Linux/OS X系统，这是一个Python可执行程序，Windows系统会忽略这个注释；
第二行注释是为了告诉Python解释器，按照UTF-8编码读取源代码，否则，你在源代码中写的中文输出可能会有乱码。**
-
2. 由于网站的更新，所以我的本地的py脚本跟老师讲得可能还是有所区别。而且发现自己的代码还是有点很乱，还得锻炼。**
其中
1.selector 及时可以足够简化，太冗长也影响代码的可读性，只要在网页中检查其标签唯一性即可。
prices = soup.select('.price')
areas = soup.select('.c_25d')
dates = soup.select('.time')
浏览次数
2.title属性可以直接获取，其实也就是网页head里的标签，当然这个的使用，其实还是有一定概率性，可能个别页面的title跟你想要的会不一样，需要仔细区分。
'title': soup.title.text,
3.不得不再次爱上py的语法，简单，一行搞定，不过可读性嘛，习惯就好了
.'price': prices[0].text if len(prices) > 0 else 0,
其实也就等价于:
if len(prices) > 0 :
return prices[0].text
else :
return 0
再看这个：
url_last_part = url_path.split('/')[-1]
[-1]这里的-1指的是，数组的倒数第一个，所以[-2]，也就是倒数第2个，以此类推
这里其实也强调了对代码逻辑中边界问题的把控能力，你的代码不仅仅要适用于正常情况，还是适用于极端情况。再看下面的逻辑保护：
# 判断状态码，检查是否被网站封ip
if wb_data.status_code != 200:
continue
4.原来课程中比较难的一点就是，页面中浏览量的爬取（现在这个问题没有了，直接最简单的爬取即可），是通过页面中的js脚本来控制回写到页面（深刻感知js的爬取的天敌啊~），但是通过对source中的接口api进行查询（接口可以参照一下新浪微博接口的介绍，但现在已经找不到了）回调处理逻辑的分析，还是可以强行获取。
原本根据infoid是可以查询到访问量，也就是下图totla后面的数字，现在已经不需要了
api查询
其实总结起来，也就是对于网页链接中的网址变化特征要敏感，根据其不同的变化来猜测并验证猜测。
who_sells = 0 // 0为个人，1为商家
url = 'http://bj.58.com/pbdn/{}/pn2/'.format(who_sells)
// 访问量的查询也就是调用api后面，接上要查询的id即可。
