Python-爬取知乎某个问题下的所有回答

作为一个Python小白,在经过一个大牛的安利下,迅速将魔爪伸向了Python。作为一个小白,今天分享下已经被大牛们玩坏的知乎爬虫,各位看官你看好了。

1. 我为什么要爬取回答

其实我只是好奇,加上为了快速掌握基本的语法,就研究了一下。

2. 如何实现

懒得说了,你自己看代码吧:

#!/usr/bin/python
# -*- coding: utf-8 -*-
# Filename : ZhiHuSpider.py

import time
import re
import requests
import http.cookiejar
from PIL import Image
import json
from bs4 import BeautifulSoup


class ZhiHuSpider(object):
    def __init__(self):
        self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
                                      '(KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
                        "Host": "www.zhihu.com",
                        "Referer": "https://www.zhihu.com/",
                        }
        # 建立一个会话,可以把同一用户的不同请求联系起来;直到会话结束都会自动处理cookies
        self.session = requests.Session()
        self.session.keep_alive = False
        # 建立LWPCookieJar实例,可以存Set-Cookie3类型的文件。
        # 而MozillaCookieJar类是存为'/.txt'格式的文件
        self.session.cookies = http.cookiejar.LWPCookieJar("cookie")
        # 若本地有cookie则不用再post数据了
        try:
            self.session.cookies.load(ignore_discard=True)
            print('Cookie加载成功!')
        except IOError:
            print('Cookie未加载!')

    def get_xsrf(self):
        """
        获取参数_xsrf
        """
        response = self.session.get('https://www.zhihu.com', headers=self.headers)
        html = response.text
        get_xsrf_pattern = re.compile(r'<input type="hidden" name="_xsrf" value="(.*?)"')
        _xsrf = re.findall(get_xsrf_pattern, html)[0]

        return _xsrf

    def get_captcha(self):
        """
        获取验证码本地显示
        返回你输入的验证码
        """
        t = str(int(time.time() * 1000))
        captcha_url = 'http://www.zhihu.com/captcha.gif?r=' + t + "&type=login"
        response = self.session.get(captcha_url, headers=self.headers)
        with open('cptcha.gif', 'wb') as f:
            f.write(response.content)
        # Pillow显示验证码
        im = Image.open('cptcha.gif')
        im.show()
        captcha = input('本次登录需要输入验证码: ')
        return captcha

    def login(self, username, password):
        """
        输入自己的账号密码,模拟登录知乎
        """
        # 检测到11位数字则是手机登录
        if re.match(r'\d{11}$', username):
            url = 'http://www.zhihu.com/login/phone_num'
            data = {'_xsrf': self.get_xsrf(),
                    'password': password,
                    'remember_me': 'true',
                    'phone_num': username
                    }
        else:
            url = 'https://www.zhihu.com/login/email'
            data = {'_xsrf': self.get_xsrf(),
                    'password': password,
                    'remember_me': 'true',
                    'email': username
                    }
        # 若不用验证码,直接登录
        result = self.session.post(url, data=data, headers=self.headers)
        # 打印返回的响应,r = 1代表响应失败,msg里是失败的原因
        # loads可以反序列化内置数据类型,而load可以从文件读取
        if (json.loads(result.text))["r"] == 1:
            # 要用验证码,post后登录
            data['captcha'] = self.get_captcha()
            result = self.session.post(url, data=data, headers=self.headers)
            print((json.loads(result.text))['msg'])
            # 保存cookie到本地
            self.session.cookies.save(ignore_discard=True, ignore_expires=True)

    def isLogin(self):
        # 通过查看用户个人信息来判断是否已经登录
        url = "https://www.zhihu.com/settings/profile"
        # 禁止重定向,否则登录失败重定向到首页也是响应200
        login_code = self.session.get(url, headers=self.headers, allow_redirects=False,verify=False).status_code
        if login_code == 200:
            return True
        else:
            return False

    def getUserInfo(self, userId):
        url = 'https://www.zhihu.com/people/' + userId + '/activities'
        response = self.session.get(url, headers=self.headers)
        soup = BeautifulSoup(response.content, 'lxml')
        name = soup.find_all('span', {'class': 'ProfileHeader-name'})[0].string
        print(name)

    def getQsAnswer(self, questionId):

        # 每次我们取10条回答
        limit = 10
        # 获取答案时的偏移量
        offset = 0

        # 开始时假设当前有这么多的回答,得到请求后我再解析
        total = 2 * limit;

        # 我们当前已记录的回答数量
        record_num = 0

        # 定义问题的标题,为了避免获取失败,我们在此先赋值
        title = questionId

        # 存储所有的答案信息
        answer_info = []

        print('Fetch info start...')
        while record_num < total:
            # 开始获取数据
            # 我们获取数据的URL格式是什么样呢?
            # https://www.zhihu.com/api/v4/questions/39162814/answers?
            # sort_by=default&include=data[*].is_normal,content&limit=5&offset=0
            url = 'https://www.zhihu.com/api/v4/questions/' \
                  + questionId + '/answers' \
                                 '?sort_by=default&include=data[*].is_normal,voteup_count,content' \
                                 '&limit=' + str(limit) + '&offset=' + str(offset)
            response = self.session.get(url, headers=self.headers)

            # 返回的信息为json类型
            response = json.loads(response.content)

            # 其中的paging实体包含了前一页&下一页的URL,可据此进行循环遍历获取回答的内容
            # 我们先来看下总共有多少回答
            total = response['paging']['totals']

            # 本次请求返回的实体信息数组
            datas = response['data']

            # 遍历信息并记录
            if datas is not None:

                if total <= 0:
                    break

                for data in datas:
                    dr = re.compile(r'<[^>]+>', re.S)
                    content = dr.sub('', data['content'])
                    answer = data['author']['name'] + ' ' + str(data['voteup_count']) + ' 人点赞' + '\n'
                    answer = answer + 'Answer:' + content + '\n'
                    answer_info.append('\n')
                    answer_info.append(answer)
                    answer_info.append('\n')
                    answer_info.append('------------------------------')
                    answer_info.append('\n')
                    # 获取问题的title
                    title = data['question']['title']


                # 请求的向后偏移量
                offset += len(datas)
                record_num += len(datas)

                # 如果获取的数组size小于limit,循环结束
                if len(datas) < limit:
                    break;

        print('Fetch info end...')
        answer_info.insert(0, title + '\n')
        self.write2File(title + '.txt', answer_info)

    def write2File(self, filePath, answerInfo):
        print('Write info to file:Start...')
        # 将文件内容写到文件中
        with open(filePath, 'a', encoding='utf-8') as f:
            f.writelines('\n\n')
            for text in answerInfo:
                f.writelines(text)
            f.writelines('\n\n')
            print('Write info to file:end...')


if __name__ == '__main__':
    spider = ZhiHuSpider()
    if spider.isLogin():
        print('您已经登录')
    else:
        account = input('输入账号:')
        secret = input('输入密码:')
        spider.login(account, secret)

    # spider.getQsAnswer('39162814')
    # spider.getQsAnswer('57702309')
    spider.getQsAnswer('49525749')





3. 总结

我注释写的那么详细,如果存在疑问,欢迎留言。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容