相比昨天，对BeautifulSoup的使用熟练了点，但各方法的理解还是不够，会对list进行get_text()方法，在这里绕了不少圈子，另外，爬取网页的时候还是要加深对HTML和CSS的理解才能更好的找到筛选出所需信息的条件，不管怎么，顺利完成练手项目。
结果展示
Paste_Image.png
我的代码
from bs4 import BeautifulSoup
import requests
import time
#获取详情页链接
def get_url_xz(n=1): #通过参数n来控制爬取的页数，默认为一页
urls_list = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, n+1)] # 列表页链接列表
urls_attr = [] # 详情页链接列表
#通过for循环，把列表页的详情页链接加入urls_attr
for url_single in urls_list:
wb_data = requests.get(url_single)
time.sleep(2)
soup = BeautifulSoup(wb_data.text, 'lxml')
urls = soup.select('div#page_list > ul > li > a[target="_blank"]')
for url in urls:
urls_attr.append(url.get('href'))
return urls_attr
#爬取详情页数据
def get_attractions_xz(url,data=None):
for each_url in url:
wb_data = requests.get(each_url) # 获取页面内容
time.sleep(2)
soup = BeautifulSoup(wb_data.text, 'lxml')
# print(soup)
# 获取目标信息
title = soup.select('div.pho_info > h4 > em') # 标题
address = soup.select('div.pho_info > p > span') # 地址
price = soup.select('div.day_l > span') # 价格
pic_fd = soup.select('div.member_pic > a > img') # 房东照片
name = soup.select('div.w_240 > h6 > a') # 房东姓名
sex = soup.select('div.w_240 > h6') # 房东性别
img = soup.select('div.pho_show_big > div > img') # 第一张图片链接
# print(titls,address,price,pic_fangdong,name,sex,img)
# 据分析，若房东为男性，则用的CSS为'member_boy_ico'，否则为女性，通过条件判断为sex赋值
if len(sex[0].find_all("span", class_="member_boy_ico")):
sex = 'Male' # 男性
else:
sex = 'Female' # 女性
data = {
'title': title[0].get_text(),
'addres': address[0].get_text().split('\n')[0], # 地址中包含换行符及一行空格，通过分割，只保留地址部分
'price': '￥' + price[0].get_text(),
'pic_fd': pic_fd[0].get('src'),
'name': name[0].get("title"), # 房东姓名在title属性中，用get方法获取
'sex': sex,
'img': img[0].get('src')
}
print(data)
url=get_url_xz(n=3) #获取3页的所有详情页链接,页数可自由选择
get_attractions_xz(url)
总结
1.在写代码的过程中，网页的样式发生了变化，房东信息那部分发生了变化，重写这部分代码；
2.运行效率有点慢，可能是sleep的原因，后面再研究一下；
3.要加深对网页的了解，前面分析时间耗时有点久。
