logging模块的使用
import scrapy
import logging
logger = logging.getLogger(__name__)
class QbSpider(scrapy.Spider):
name = 'qb'
allowed_domains = ['qiushibaike.com']
start_urls = ['http://qiushibaike.com/']
def parse(self, response):
for i in range(10):
item = {}
item['content'] = "haha"
# logging.warning(item)
logger.warning(item)
yield item
运行结果
image.png
- settings中设置LOG_FILE = './log.log' 将错误或者警告保存在日志文件中
# 模板
import logging
logging.basicConfig(level=log_level,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='parser_result.log',
filemode='w')
if __name__ == '__main__':
logging.info('i am warning')
结果(这个模板比较详细)
Fri, 21 Aug 2020 13:38:22 logfile.py[line:12] INFO i am warning
pipeline文件
import logging
logger = logging.getLogger(__name__)
class MyspiderPipeline(object):
def process_item(self, item, spider):
# print(item)
logger.warning(item)
item['hello'] = 'world'
return item
保存到本地，在setting文件中LOG_FILE = './log.log'
basicConfig样式设置
https://www.cnblogs.com/felixzh/p/6072417.html
回顾
image.png
如何翻页
image.png
腾讯爬虫案例
通过爬取腾讯招聘的页面的招聘信息,学习如何实现翻页请求
http://hr.tencent.com/position.php
创建项目
scrapy startproject tencent
创建爬虫
scrapy genspider hr tencent.com
scrapy.Request知识点
scrapy.Request(url, callback=None, method='GET', headers=None, body=None,cookies=None, meta=None, encoding='utf-8', priority=0,
dont_filter=False, errback=None, flags=None)
常用参数为：
callback：指定传入的URL交给那个解析函数去处理
meta：实现不同的解析函数中传递数据，meta默认会携带部分信息,比如下载延迟，请求深度
dont_filter:让scrapy的去重不会过滤当前URL，scrapy默认有URL去重功能，对需要重复请求的URL有重要用途
item的介绍和使用
# 定义一些我们需要查询的的字段，以防我们提取数据的时候将字段写错，所以可以提前定义好
items.py
import scrapy
class TencentItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
position = scrapy.Field()
date = scrapy.Field()
阳光政务平台案例
http://wz.sun0769.com/index.php/question/questionType?type=4&page=0
