这次爬虫作业在端午的时候就想着手进行的，犯拖延症一直没在简书上更新，最近的学习也稍微有点懈怠，一方面是放假的缘故，另一方面跟自身工作时间没能安排出时间进行学习，看书看博客都是碎片化的学习，今天儿童节，及时交作业。
这次爬虫的作业学习：
- MongoDB的一些操作
- 对JS页面的页面处理
- MongoDB Plugin在Pycharm中的使用
查找爬虫入口
首页
天气预报
40天预报
构造URL
老规矩chrom 开发者工具 按F12 CTRL+R 查看页面加载，这边需要注意的是Requests headers里的Referer这个参数，直接访问，如果不加的话会返回403Forbidden
image.png
image.png
image.png
通过多次页面点击发现是JS页面加载
基本URL：
#例子：
http://d1.weather.com.cn/calendar_new/2017/101210101_201706.html?_=1496299957582
#精简：
http://d1.weather.com.cn/calendar_new/{1}/101210101_2017{2}.html.format(str(year),str(month))
解析返回数据
image.png
返回的数据格式不是json格式，是类似json的字典列表字符串，需要做字符串切片处理、序列化之后重构字典，最后插入MongoDB
代码
# -*- coding:utf-8 -*-
import sys
import json
import requests
import pymongo
from pymongo import MongoClient
reload(sys)
sys.path.append('..')
sys.setdefaultencoding('utf-8')
class chinaweather(object):
def __init__(self):
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
'Accept':'*/*',
'Accept-Encoding':'gzip, deflate, sdch',
'Accept-Language':'zh-CN,zh;q=0.8',
'Connection':'keep-alive',
'Host':'d1.weather.com.cn',
'Referer':'http://www.weather.com.cn/weather40d/101210101.shtml',
'Cookie': 'vjuids=-35cf735ec.15c3a674e60.0.ea0c2b4b0db22; f_city=%E5%8C%97%E4%BA%AC%7C101010100%7C; BIGipServerd1src_pool=1874396221.20480.0000; Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1495628468,1495628495,1495642584; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1495642621; vjlast=1495628468.1495642583.13'
}
self.headers = headers
self.base_url = 'http://d1.weather.com.cn/calendar_new/2016/101210101_2016%s.html'
def request_html_data(self, url):
html = requests.get(url, headers=self.headers).content
html = html.decode()
#字符串切片，去除"var fc40 ="
html_json = json.loads(html[11:])
weather_list = []
for weather in html_json:
item = {}
item['日期'] = weather.get('date')
item['降水概率'] = weather.get('hgl')
item['最高温度'] = weather.get('hmax')
item['最低温度'] = weather.get('hmin')
item['农历日期'] = weather.get('nlyf') + weather.get('nl')
item['不宜'] = weather.get('alins')
item['宜'] = weather.get('als')
weather_list.append(item)
#数据存储mongodb
client = MongoClient('mongodb://172.16.110.163:27017/')
db = client['weather']
posts = db.weather
#插入含多字典列表
posts.insert_many(weather_list)
if __name__ == '__main__':
cw = chinaweather()
for i in range(1, 13):
#拼接字符串，月份小于10，需要加0
if i < 10:
str_i = "0" + str(i)
url = cw.base_url % str_i
cw.request_html_data(url)
else:
str_i = str(i)
url = cw.base_url % str_i
cw.request_html_data(url)
MongoDB存储数据
用MongoDB存这样的数据太方便了，不必想Mysql中那样创建表、定义表结构 字段类型，直接可以插入数据
image.png
参考资料
mongodb 在pycharm插件安装步骤
How To Install MongoDB on CentOS 7
