开始爬虫之旅,虽然是简单的爬取本地网页,操作起来还是不熟练,但总算完成了,参考了优秀作业,把自己的代码优化了一下
展示结果
我的代码
from bs4 import BeautifulSoup
#本地网页路径
path='/Users/zorro/Desktop/Plan-for-combating-master/week1/1_2/1_2answer_of_homework/1_2_homework_required/index.html'
#读取本地网页数据
with open(path,'r') as wb_data:
Soup=BeautifulSoup(wb_data,'lxml')
images=Soup.select(
'body > div > div > div.col-md-9 > div > div > div > img')
prices=Soup.select(
'body > div > div > div.col-md-9 > div > div > div > div.caption > h4.pull-right')
titles=Soup.select(
'body > div > div > div.col-md-9 > div > div > div > div.caption > h4 > a')
reviews=Soup.select(
'body > div > div > div.col-md-9 > div > div > div > div.ratings > p.pull-right')
stars=Soup.select(
'body > div > div > div.col-md-9 > div > div > div > div.ratings > p:nth-of-type(2)')
for title,price,review,image,star in zip(titles,prices,reviews,images,stars): #通过for循环,把每个元素装到字典里
# 据分析,星级数据储存在span标签中的CSS为'glyphicon glyphicon-star',通过统计数量来得到星级数
star_num=len(star.find_all("span", class_='glyphicon glyphicon-star'))
star_logo='★'*star_num+'☆'*(5-star_num) #参考优秀作业,把星级数据可视化,转变为星星
data={
'title':title.get_text(),
'price':price.get_text(),
'review':review.get_text().split()[0], #这里用split函数把浏览量与review分割开,并取首个元素,即只取数字
'image':image.get('src'), #获取图片的src属性,得到图片的地址
'star': star_logo
}
print(data)
总结
1.在导入BeautifulSoup的时候,遇到的点麻烦,多亏老师的帮忙解决了;
2.通过这个项目,发现自己的基础还不扎实,需要重新学习基础;
3.只想着把项目完成,却没想做得更好,这个要改进,看完优秀作业之后,修改了自己的代码,希望自己的代码可读性更高,代码运行结果更美观;