1、while循环中使用sleep 缺点:不容易控制,而且是个阻塞函数 2、schedule模块 优点:可以管理和调度多个任务,可以进行控制缺点...
Scrapy框架 构架图 Scrapy Engine(引擎模块) Scheduler(调度模块):负责接受引擎发送过来的Request请求,并按...
curl命令是一个利用URL规则在命令行下工作的文件传输工具。curl支持包括HTTP、HTTPS、FTP等众多协议,还支持POST、cooki...
selenium和phantomjs概述 案例操作:模拟登陆csdn 1. selenium和phantomJS是什么东西? selenium是...
BeautifulSoup4 BeautifulSoup是一个HTML/XML的解析器,主要用于解析和提取HTML/XML数据。Beautifu...
XML XML指可扩展标记语言(EXtensible Markup Language) XML和HTTP的区别 Xpath Xpath(XML ...
re模块规则 匹配中文:[\u4e00-\u9fa5] 匹配方法 match方法:从起始位置开始匹配,匹配一次就结束 search方法:从任何位...
基于get请求 基于post请求 代理(proxies参数) Cookies和Session Cookies Session
Pytho2: Urllib库 Urllib2库 Python3: Urllib库 变化: 在Pytho2.x中使用import urllib2...