目标
上次爬取了转转二手市场的的数据，这次我来将它可视化。
在终端里输入jupyter notebook 打开jupyter
使用 jupyter
样式
准备
在开始前，我们应该对需要调用数据的数据库进行备份，以防数据丢失
通过 new - terminal 从 jupyter 中打开终端，输入mongo，进入数据库界面，再输入 show dbs,显示所有数据文件，选择文件use ganji1_db,再输入 show tables, 显示该数据库文件中的collection
使用 db.createCollection('item_info_db_backups')创建一个新的collection，再使用db.item_info.copyTo('item_info_db_backups')拷贝，完成。我们在程序中使用拷贝的数据库。
程序
import pymongo
from string import punctuation
import charts
client = pymongo.MongoClient('localhost', 27017)
ganji1 = client['ganji1_db']
item_info = ganji1['item_info_db_backups']
# 修缮 area 的样式，并把新样式更新到备份数据库中
for i in item_info.find():
area = [i for i in i['area'][3:].split() if i not in punctuation] # 根据数据库中的area格式做对应的调整
#print(area)
item_info.update( {'_id': i['_id']}, {'$set':{'area':area}} )
# updat后面第一块表示所有有_id的都将被更新，这里的i是字典，所以它的key value都得update，它是item_info内的，最后的area是上方的变量
# 测试上方更新后的数据库打印出的结果是否正确
for i in item_info.find():
print(i['area'])
['朝阳']
['房山']
['房山']
['大兴']
......
上方为测试结果
area_list = []
for i in item_info.find():
area_list.append(i['area'][0]) # 没有[0]时，显示的是很多小列表组成的大列表[ [], [] ]格式
area_index = list( set(area_list) ) # 接上，i 是一个小的列表，里面就一个元素，所以[0]就把元素拿出来变成了字符串，再加入area_list
print(area_index)
上方代码测试结果：['大兴', '昌平', '通州', '平谷', '东城', '房山', '顺义', '海淀', '宣武', '崇文', '朝阳', '丰台']
# 统计每个地区出现的数量
post_times = [] # 仔细想想，这种逻辑的设计很棒
for index in area_index:
post_times.append( area_list.count(index) )
print(post_times) # 若这行后退对齐的话，打印出的结果是个梯形，每append一次打印一次
上方代码测试结果:[300, 240, 180, 60, 240, 60, 240, 840, 60, 60, 1141, 180]
def data_gen(types): # types column name data type 都是固定格式
length = 0
if length <= len(area_index): # 做个判断，不能一直yeild
for area, times in zip(area_index,post_times):
data = {
'name':area,
'data':[times],
'type':types
}
yield data
length += 1
data_gen('column')
上方代码报错：<generator object data_gen at 0x107295c50>上方结果为生成器，无法直接打印
for i in data_gen('column'):
print(i) # 下方的这样的格式就是我们需要的字典样式
{'name': '大兴', 'data': [300], 'type': 'column'}
{'name': '昌平', 'data': [240], 'type': 'column'}
上方为测试结果
series = [data for data in data_gen('column')]
charts.plot( series, show="inline", options = dict(title=dict(text='七日内北京城区二手商品活跃量')) )
好了，结果如下：
图表示例
