__author__ = 'Lee'
import requests
from bs4 import BeautifulSoup
url_text = 'https://bj.lianjia.com/zufang/xicheng/'
area_list = []
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
}
proxies = {"http": "http://119.57.105.241:8080"}
wb_data = requests.get(url_text,headers=headers)
soup = BeautifulSoup(wb_data.text,'lxml')
# 面包屑模块
# 面包屑 breadcrumbs
bread_crumbs =soup.select('#house-lst > li')
item_url = soup.select('#house-lst > li > div > h2 > a')
for url in item_url:
url1 = url.get('href')
print(url1)
'''
上边的code中,get方法不能直接使用 因为数据类型不支持，
特别注意的是item_url，url两个变量数据类型不同，分别是list，bs4.element.Tag
只有url支持get方法
'''
'''
#house-lst > li:nth-child(1) > div.info-panel > h2 > a
'''
python爬取链家租房之获得每一页的房屋信息地址（持续更新）
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 因为期末考试的缘故，本打算一个星期结束的爬虫，拖了很久，不过，也有好处：之前写的时候总是被反爬，这几天复习之余写了...
