重点
- status_code 200正常 404不正常
间隔抓取，防止反爬措施
import time
time.sleep(4)
- soup.select出来的是列表
- 定位元素的方法：找唯一特征
- 连续爬去多页，观察网站上段地址变化
- 反爬取可以模拟手机爬
真实世界中的网页解析
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 笔记 网络交互 = Request + Response Request的方法分为：getpostheadputo...
- 编译环境：python v3.5.0, mac osx 10.11.4 python爬虫基础知识: Python...
- Date:2016-9-21update:2016-9-30By:Black Crow 前言： 终于进入到网络页面...
