目标：
展示7天内 手机 电脑 的发帖情况
工作流程
清洗数据，更新数据，数据可视化
步骤
import pymongo
import charts
from datetime import timedelta,date
client = pymongo.MongoClient('localhost', 27017)
ganji1 = client['ganji1_db']
item_info = ganji1['test2_item_info']
# 处理时间数据
for i in item_info.find({'pub_date':{'$in':['2016.01.07','2016.01.14'] } }, {'area':{'$slice':1}, '_id':0, 'price':0, 'title':0, 'url':0,'look':0} ).limit(5):
print(i)
结果如下:
{'pub_date': '2016.01.14', 'area': ['朝阳'], 'cates': '家电'}
{'pub_date': '2016.01.14', 'area': ['海淀'], 'cates': '台式机/配件'}
# 清洗分类
#for i in item_info.find():
#category = i['cates'][2][4:]
#print(category)
#item_info.update_one({'_id':i['_id']}, { '$set':{'cates':category} }) # 数据更新完这段要即刻注销，防止误伤数据，如果2次执行，它就会再次修改数据
for i in item_info.find():
frags = i['pub_date'].split('-') # 分割会产生列表，这样就会生成一个切成3个元素的列表,如果不分割直接打印则对应字符串*
if len(frags) == 1:
date = frags[0] # 原样输出
else:
date = '{}.{}.{}'.format(frags[0],frags[1],frags[2])
#print(date)
#item_info.update_one({'_id':i['_id']}, { '$set':{'pub_date':date} }) # 更新到数据库，注意记忆,然后再用上方函数查看数据库更新与否
a = timedelta(days = 1.5) # 它的功能是能让时间加减，具体怎么加减转换格式是它的事，不用操心
print(a)
1 day, 12:00:00
def get_all_dates(date1, date2):
the_date = date( int(date1.split('.')[0]), int(date1.split('.')[1]), int(date1.split('.')[2]) )
end_date = date( int(date2.split('.')[0]), int(date2.split('.')[1]), int(date2.split('.')[2]) )
days = timedelta(days = 1) # 定义days表示一天
while the_date <= end_date:
yield( the_date.strftime('%Y.%m.%d') ) # yield 每执行一圈程序，存储一个值，所以它记录了整个过程，也就是每一天
the_date = the_date + days
for i in get_all_dates('2016.1.14', '2016.1.18'):
print(i)
测试一下，结果如下：
2016.01.14
2016.01.15
def get_data_within(date1,date2,cates):
for cate in cates:
cate_day_posts = []
for date in get_all_dates(date1,date2):
a = list(item_info.find({'pub_date':date, 'cates':cate})) # 注意cates:cate，后面必须是cate才能计算数量，不然数量全是0
cate_day_post = len(a)
cate_day_posts.append( cate_day_post )
#print('#'*20, date , cate, len(a), '#'*20)
# 主体程序已完成，按照固定格式去调整数据，进行图示化展示
data = { # 这里犯了个错误，只缩进了一次，导致结果只显示一组数据。缩进2次就好了
'name': cate,
'data': cate_day_posts,
'type': 'line'
}
yield data
#get_date_within('2016.1.1', '2016.1.10', ['笔记本'])
for i in get_data_within('2016.1.1', '2016.1.10', ['笔记本','家电','手机']):
print(i)
测试结果如下：
# 这里是上述代码执行的结果，也就是图表化必须的格式，注意data 后为 列表格式
{'name': '笔记本', 'data': [46, 53, 53, 84, 50, 70, 75, 91, 95, 141], 'type': 'line'}
{'name': '家电', 'data': [328, 356, 398, 469, 581, 941, 819, 820, 1012, 961], 'type': 'line'}
{'name': '手机', 'data': [82, 105, 118, 103, 92, 96, 110, 83, 73, 95], 'type': 'line'}
图表化展示
options = { # 标准化套路
'chart' : {'zoomType':'xy'},
'title' : {'text': '发帖量统计'},
'subtitle': {'text': '可视化统计图表'},
'xAxis' : {'categories': [i for i in get_all_dates('2016.01.01','2016.01.07')]},
'yAxis' : {'title': {'text': '数量'}}
}
series = [i for i in get_data_within('2016.01.01','2016.01.07',['手机','笔记本','家电'])]
charts.plot(series, options=options,show='inline')
# options=dict(title=dict(text='Charts are AWESOME!!!'))
图示
