最近做计算社会学的研究需要用到网络爬虫爬取一些数据，一开始打算用八爪鱼爬虫工具，后来发现这种爬虫工具不太稳定，那就自己从头学吧，以后说不定也能用的着，试着模仿了几个案例，其实背后的逻辑基本都是一致的，不同网站的结构可能不一样，不过对付一般的网站是没什么问题的。
使用的库：Csv+Request + Beautifulsoup

案例一：爬取豆瓣top250数据

要求：抓取top250豆瓣电影的名称、URL、得分、评价数。
详细代码及注释如下：

import csv 
import re
import requests
from bs4 import BeautifulSoup

要抓取的页面如下，观察一下页面的翻页规律

image.png

tips:抓取数据时，可以尝试先抓取一页的数据，成功的话加个循环代码即可
以第一页为例，观察网页的结构

url = 'https://movie.douban.com/top250?start=0&filter='
response = requests.get(url)
response.encoding = 'utf-8'
html = response.text
soup = BeautifulSoup(html,"lxml")   #用beautifulsoup解析网页
print(soup.prettify())  ## 结构化显示网页

image.png

观察可以发现要抓取的数据基本都在<div class="item">类名里

all_list = soup.find_all(class_='item') 
tag1 = all_list[0]
item_data = tag1.find(class_='pic')
movie_url = item_data.find('a')['href']    # 抓取电影的url
movie_name = item_data.find('img')['alt']  # 抓取电影的名称
item_info = tag1.find(class_='star')
info = tag1.find('div', attrs={'class': 'star'})   #通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag
movie_people =info.find_all('span')[3].get_text()[:-3]    # 抓取观影人数
movie_score = info.find('span',attrs={'class':'rating_num'}).get_text()  #抓取评分

关于beautifulsoup的find() 和find_all()函数，建议参考beautifulsoup的中文文档：beautifulsoup的中文文档

会抓一页的数据，全部的数据自然不在话下
所有代码如下：

## 用csv模块创建一个csv文件
with open('C:/Users/Carman/Desktop/top250_movie.csv','w',encoding='utf_8_sig') as outputfile:
    writer = csv.writer(outputfile)
 outputfile.write("movie_num#movie_name#movie_people#movie_score#movie_url\n")  ## 注意缩进，不知道为什么简书上缩进不了
        #开始循环获取每一个页面的url
        for list in range(10):
             movies_content = requests.get(top250_url.format(list*25)) 
             movies_html = movies_content.encoding = 'utf-8'
             soup = BeautifulSoup(movies_html,'html.parser')
             all_list = soup.find_all(class_='item') 
          #在每一个页面里面循环，抓取名称、URL、得分、评价数    
             for item in all_list:
                  item_data=item.find(class_='pic')
                  movie_url = item_data.find('a')['href']
                  movie_name = item_data.find('img')['alt']
                  item_info = item.find(class_='star')
                  info = item.find('div', attrs={'class': 'star'})  
                  movie_people =info.find_all('span')[3].get_text()[:-3]
                  movie_score = item_info.find('span',attrs={'class':'rating_num'}).get_text()
                  movie_num = movie_num+1 
        ## 写入csv文件
                  outputfile.write('{}#{}#{}#{}#{}\n'.format(movie_num,movie_name,movie_people,movie_score,movie_url))

ok,读取出来是这个样子：

import numpy as np
import pandas as pd
df = pd.read_csv('C:/Users/Carman/Desktop/top250_movie.csv',sep='#',encoding='utf-8')  #'utf-8'解码
df.head()

image.png

案例2：抓取微博微公益数据

image.png

如图，目标在于抓取每个项目的名称，分类，目标金额，完成率和转发数。
完整代码如下：

import csv
import re
import requests
from bs4 import BeautifulSoup
import urllib.request as urlrequest
import warnings
warnings.filterwarnings("ignore")

url = 'https://gongyi.weibo.com/list/personal?on_state=3&donate_type=0&state=1&type=0&location=&title=&open=0&page={}'
## 用csv模块创建一个csv文件
with open('C:/Users/Carman/Desktop/weibo_charity1.csv','w',encoding='utf_8_sig') as outputfile:
    writer = csv.writer(outputfile)
    outputfile.write("title#kind#organization#target_money#fill_rate#forward\n")
    #开始循环获取每一个页面的url
    for list in range(1,200): 
        response = requests.get(url.format(list))
        response.encoding = 'utf-8'
        html= response.text
        soup = BeautifulSoup(html,"lxml")
        all_list = soup.find_all(class_ = 'view_info')
     #在每一个页面里面循环，抓取名称、种类、组织、目标金额、完成率、转发
        for item in all_list:
            title_data = item.find(class_='title')
            title = title_data.get_text()[:-6]
            kind = title_data.get_text()[-5:-1]
            org_data  = item.find(class_ ='project_info W_linkb')
            organization = org_data.find_all('a')[1].get_text()
            num = item.find_all(class_ = 'num')
            target_money = num[0].get_text()
            fill_rate = num[1].get_text().strip() 
            forward_people = item.find_all('span')
            forward_people = forward_people[2].get_text()
            forward_people = forward_people.replace('\t', '')
            forward_people = forward_people.replace('\n', '')          
    ## 写入文件
            outputfile.write('{}#{}#{}#{}#{}#{}\n'.format(title,kind,organization,target_money,fill_rate,forward_people))

最后读取的数据格式如下：

import numpy as np
import pandas as pd
data = pd.read_csv('C:/Users/Carman/Desktop/weibo_charity1.csv',sep='#',encoding='utf-8',error_bad_lines=False)  #'utf-8'解码
data.head()

image.png

感想：大数据时代，现在即使做社科类的研究也越来越需要数据，对待技术不应该恐惧，这个世界上大部分的事情只要肯去做都是能做好的，另外一项技能学会了一定要找机会经常使用，否则过段事件忘了又要重头在学，有点得不偿失了，我经常犯这一错误，需要引以为戒。