最近在写爬虫的时候又遇到一个问题。情形是这样的,由于数据量过大,如果直接访问系统分页数据的话最多返回前100页的数据,这样会造成数据量不完整。经过分析,可以对网站数据通过时间,地点来过滤。这时就需要用到python的日期时间函数来动态生成需要搜索的查询时间条件。
这里我主要需要生成如2016-01-01
这样的日期串,可以使用下面代码实现
import datetime
start_date = datetime.date(2016,1,1)
during = 7 #这里设置时间间隔为7天
end_date = (start_date + datetime.timedelta(7)).strftime('%Y-%m-%d')
print end_date # 2016-01-08