Day 6
换换口味
爬虫
URl 自动抓取互联网数据 url 相互指向形成一个互联网
使用Python 设立主题从互联网上从一个网页出发提取所有相关数据
爬虫需要
爬虫调度端：启动爬虫，停止爬虫，监视爬虫运行情况
URL管理器：对将要爬取的和已经爬取过的URL进行管理；可取出带爬取的URL，将其传送给“网页下载器”
网页下载器：将URL指定的网页下载，存储成一个字符串，在传送给“网页解析器”
网页解析器：解析网页可解析出①有价值的数据②另一方面，每个网页都包含有指向其他网页的URL，解析出来后可补充进“URL管理器”
管理器是为了防止重复抓取
网页下载器把网页下载到本地 然后进行后续的分析处理
urllib2 是内置插件
下载网页的方法
视频是Python 2.7 的 要换成eclipse运行
下载网页
结构化解析 是把网页转化成一个
转化成一个树 w3cschool的要求
通过这个树document
把HTML下面的元素 元素下面的文档 取出来
这样可以通过树的方式访问每一个位置 进行网页解析
安装beautifulsoup4
安装完成
find_all 会搜素所有满足要求的节点
find 只会搜素第一个满足要求的节点
然后可以按照节点进行搜索
传入三个参数 字符串 解析器 编码防止与代码的编码不一样
find-all 的参数 包含三个 name节点的名称 attrs 节点的属性 string 节点的文字
比如我要查找a的节点 直接传入a的名称即可，....
通过名称属性 文字就可以搜索所有节点
访问节点信息
node.name 获取节点名称
node[] 通过字典的形式访问到所有属性
node.get_text()的方法来获取节点的文字
创建bs对象 搜索dom树 访问节点内容 实现对网页的解析访问
一个for循环
只获取一个lacie 的链接
正则表达式用来查找相应文件
实战
爬行 标题和简介
