最近新换了台手机，因此想用爬虫看看淘宝上相关的评价。
Python爬取简单页面还是比较套路的，要么直接爬取HTML页面，要么爬取对应的json页面，当然这里不考虑验证码需要登录等情况。淘宝的页面数据是异步加载的，所以要到相应的json文件里找对应的数据，评论数据都是装载在json里再经过JavaScript处理后显示到HTML页面里的。下面我们来实战一下华为荣耀畅玩7C这款手机在天猫旗舰店的评价，在淘宝上搜索荣耀畅玩7C定位到官方页面，之后按F12打开源码，定位到Network，因为默认F12的开发者选项的页面是对应Elements的，按F5刷新页面后在Network里对应找到相关的json文件，实际爬过一些小项目的人应该很熟悉上面的操作了。如下图：

找到json数据位置

Headers页面.png

import requests
import json
import re

def getOneUrl(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return -1  # 页面没正常下下来

首先是比较套路的获取单个页面数据，就是调用了 requests.get(url)

def getOverViewComment():#评论概览

    oc_url = "https://rate.tmall.com/listTagClouds.htm?" \
             "itemId=565264660443&isAll=true&isInner=true" 
    ovtxt=getOneUrl(oc_url)
    print(ovtxt)
    #jsonp921({"tags":{"dimenSum":8,…… loudList":""}})
    if ovtxt==-1:
        return
    #ov2=re.compile('\{.+\}').search(ovtxt)  #json的部分

    ovc = json.loads('{'+ovtxt+'}')
    print(ovc["tags"]["rateSum"])
    for tc in ovc['tags']['tagClouds']:
        print(tc['tag'],tc)

函数getOverViewComment()是获取荣耀畅玩7C的评论概览数据，对应HTML里的效果如下：

HTML里的整体评论

getOverViewComment()运行的输出如下

畅玩7C评论概览

def parseCommentJson(url, savep):  # 解析每个页面的json数据
    text = getOneUrl(url)
    if text == -1:
        print('页面没正常获取', url)
        return -1
    hc = json.loads(text.strip().strip('()'))  # 除掉空格和首尾括号
    if (hc['total'] == 0 or hc['comments'] == None):
        return 0

    print(hc['total'])

    with open(savep, 'a+', encoding='utf-8') as wf:
        for each_c in hc['comments']: #循环每条评论
            wstr = '{name},{date},{ct},{sku}'.format(name=each_c['user']['nick'],
                                                     date=each_c['date'], ct=each_c['content'],
                                                     sku=each_c['auction']['sku'])

            aplst = each_c['appendList']
            addstr = ''
            if aplst != []:  # 有追评
                for adict in aplst:
                    astr = ',{dac},{act}'.format(dac=str(adict['dayAfterConfirm']), act=adict['content'])
                    addstr = addstr+astr

            wf.write(wstr+addstr+'\n')



def honorComment():
    for i in range(1,101):#结束页面可以自由改，如果要全量爬就设大一些,每个页面大概有20条 30115/20
        url='https://rate.taobao.com/feedRateList.htm?auctionNumId={cid}&' \
            'currentPageNum={page}'.format(cid='565264660443',page=str(i))
        savep='D:/FFOutput/honor7cComment_{page}.csv'.format(page=str(i)) #直接page=i 也是可以的
        #page不迭代时，是写到同一个文件里，省得去合并了
        if (parseCommentJson(url,savep)==0):
            break #后面没有评论了


honorComment() #调用

代码也可以进行拓展，例如获取评论里的其他属性，我这里主要爬了用户名称、评价时间、评价内容、购买类型以及追评的数据。需要其他数据可以自己改一下代码，并不难。
最后的数据效果如下，我只爬了前100页的数据。

评论数据输出.csv

上面的分析过程和爬虫代码是一个框架，想要分析其他产品的淘宝评论也可以按照这个思路。如果有其他有趣的分析视角，欢迎留言。