第一个Python爬虫

人生苦短，我用Python，试了下最基础的爬虫，果然方便

import urllib.request
import ssl
def get_page(url):
    ssl._create_default_https_context = ssl._create_unverified_context
    headers = {
        'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                    r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
        'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
        'Connection': 'keep-alive'
    }
    req = urllib.request.Request(url, headers=headers)
    page = urllib.request.urlopen(req).read()
    page = page.decode('utf-8')
    return page

result = get_page("https://www.qiushibaike.com")
# print(result)
soup = BeautifulSoup(result, "html.parser")
# print(soup)
# print(soup.prettify())
content_left = soup.find_all(id='content-left')[0]
articles = content_left.find_all('div', class_='article')
for index,article in enumerate(articles):
    print('第%d条，id:%s' % (index, article['id']))
    # 作者
    author = article.find_all('div', class_='author clearfix')[0]
    # print(author.prettify())
    print('作者id:%s,作者名字:%s,作者头像:%s' % (author.a['href'], author.a.img['alt'], author.a.img['src']))
    # 内容
    content = article.find_all('div', class_='content')[0]
    print('内容：%s' % content.find_all('span')[0].string)
    # 好笑
    stats_vote = article.find_all('span', class_='stats-vote')[0]
    print('好笑：%s' % stats_vote.find_all('i')[0].string)
    # 评论数
    comment = article.find_all('a', class_='qiushi_comments')[0]
    print('评论数：%s' % comment.find_all('i')[0].string)

结果

第0条，id:qiushi_tag_119847745
作者id:/users/21210391/,作者名字:笑祼裸,作者头像://pic.qiushibaike.com/system/avtnew/2121/21210391/thumb/20160501150729.jpg?imageView2/1/w/90/h/90
内容：None
好笑：512
评论数：9
第1条，id:qiushi_tag_119858803
作者id:/users/27301848/,作者名字:过夜的开水,作者头像://pic.qiushibaike.com/system/avtnew/2730/27301848/thumb/20171207081219.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：1839
评论数：14
第2条，id:qiushi_tag_119859918
作者id:/users/31595862/,作者名字:好多重复怎么取,作者头像://pic.qiushibaike.com/system/avtnew/3159/31595862/thumb/20160411212843.jpg?imageView2/1/w/90/h/90
内容：


统计一下谁上学时课桌上刻过早?


好笑：260
评论数：12
第3条，id:qiushi_tag_119860636
作者id:/users/12115800/,作者名字:嘿，能不走嘛？,作者头像://pic.qiushibaike.com/system/avtnew/1211/12115800/thumb/20140401180436.jpg?imageView2/1/w/90/h/90
内容：


媳妇给我新买一羽绒服，这羽绒服真是密不透风…不透风到什么程度呢，就是我拉上之后放了个屁，那味直接从脖子口往上窜！


好笑：68
评论数：0
第4条，id:qiushi_tag_116772524
作者id:/users/30915316/,作者名字:滚、水,作者头像://pic.qiushibaike.com/system/avtnew/3091/30915316/thumb/20160106141010.jpg?imageView2/1/w/90/h/90
内容：


听说发腿的都能过


好笑：120
评论数：4
第5条，id:qiushi_tag_119856403
作者id:/users/33491754/,作者名字:我是煮茶,作者头像://pic.qiushibaike.com/system/avtnew/3349/33491754/thumb/2017122100143878.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：3436
评论数：19
第6条，id:qiushi_tag_119858655
作者id:/users/34350130/,作者名字:换君展颜壹笑,作者头像://pic.qiushibaike.com/system/avtnew/3435/34350130/thumb/2017121722440621.JPEG?imageView2/1/w/90/h/90
内容：


前天，三分钟！昨天四分钟。今天，五分钟！也算你努力了，我知道，你这是爱我的表现，这是对自己严苛的要求！希望你能继续努力，好了，看你满头大汗的！我很心疼呢……别跪了，说实在的，每天让你跪核桃我也很心疼，但是有言在先:以后下班不许晚回来超过一分钟！


好笑：1566
评论数：43
第7条，id:qiushi_tag_119860216
作者id:/users/33865328/,作者名字:第55星期,作者头像://pic.qiushibaike.com/system/avtnew/3386/33865328/thumb/2017060807414716.JPEG?imageView2/1/w/90/h/90
内容：


我们这有个奇葩娘们   家里借亲戚家钱一直没钱还  今年他们那拆迁了  有钱了也不还 要存银行放着  因为这老公和她上演几次肉搏大战了  都不行  最后她老公没办法了  天天在家躺着  也不去干活了  说道“反正家里有钱 还干啥呀”  最后实在没办法了  才把钱还了  从此这成为了我们这一段佳话


好笑：287
评论数：6
第8条，id:qiushi_tag_119860191
作者id:/users/12616051/,作者名字:怀念曾经的自己,作者头像://pic.qiushibaike.com/system/avtnew/1261/12616051/thumb/20150106215104.jpg?imageView2/1/w/90/h/90
内容：


高速赶路，路边小卖部买了几瓶水，几瓶红牛，然后中间有瓶这玩意，这是什么鬼�[发呆]


好笑：228
评论数：7
第9条，id:qiushi_tag_116774130
作者id:/users/24967524/,作者名字:？？？？魅惑,作者头像://pic.qiushibaike.com/system/avtnew/2496/24967524/thumb/20150513155310.jpg?imageView2/1/w/90/h/90
内容：


有男朋友，却什么都是自己，吃饭自己，逛街自己，走路自己，睡觉自己，要男朋友做什么，真是受够了我自己。


好笑：130
评论数：13
第10条，id:qiushi_tag_119858606
作者id:/users/33373264/,作者名字:一只小妖精。,作者头像://pic.qiushibaike.com/system/avtnew/3337/33373264/thumb/20171004220626.JPEG?imageView2/1/w/90/h/90
内容：


父平日满口脏话，儿耳濡目染，一日被叫家长，老师道，你儿整日满口污言秽语，不堪入耳。父顿怒，你个兔崽子，老子辛苦养你，你在学校就学成这逼样。儿委屈道，这还不是跟你学的。父顿时悔悟，向老师表态，老子以后要是再讲一句粗话，老子就是婊子养的。老师：“……”


好笑：2284
评论数：9
第11条，id:qiushi_tag_119856629
作者id:/users/16572175/,作者名字:奶爸2014,作者头像://pic.qiushibaike.com/system/avtnew/1657/16572175/thumb/20171203232948.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：5026
评论数：27
第12条，id:qiushi_tag_119859367
作者id:/users/31108083/,作者名字:老子不是信教徒,作者头像://pic.qiushibaike.com/system/avtnew/3110/31108083/thumb/20160203165840.jpg?imageView2/1/w/90/h/90
内容：None
好笑：220
评论数：6
第13条，id:qiushi_tag_119860639
作者id:/users/31065401/,作者名字:这里有一条狗,作者头像://pic.qiushibaike.com/system/avtnew/3106/31065401/thumb/20171215163241.JPEG?imageView2/1/w/90/h/90
内容：


老师都讲成地中海了，还在讲！！！可不可以下课啊啊啊啊啊啊


好笑：61
评论数：2
第14条，id:qiushi_tag_116772866
作者id:/users/30515070/,作者名字:孤落梓,作者头像://pic.qiushibaike.com/system/avtnew/3051/30515070/thumb/20151025131441.jpg?imageView2/1/w/90/h/90
内容：


重庆人同意否？


好笑：177
评论数：8
第15条，id:qiushi_tag_119847571
作者id:/users/33542137/,作者名字:王云（笨笨）,作者头像://pic.qiushibaike.com/system/avtnew/3354/33542137/thumb/20171210125452.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：795
评论数：22
第16条，id:qiushi_tag_119856936
作者id:/users/30683910/,作者名字:一只喵233,作者头像://pic.qiushibaike.com/system/avtnew/3068/30683910/thumb/20171014162309.JPEG?imageView2/1/w/90/h/90
内容：


这两天朵朵肺炎住院，儿科简直是噪音重灾区，我们病房离护士站很近，有小孩要埋针都在那里，有个小孩埋针，哭了一个小时，一会儿喊救命一会儿喊我的妈呀，这会儿针滚了又重新扎，喊着我曰你奶奶的，这孩子火了…


好笑：1745
评论数：27
第17条，id:qiushi_tag_119860461
作者id:/users/16163129/,作者名字:比胸罩贴心滴男人,作者头像://pic.qiushibaike.com/system/avtnew/1616/16163129/thumb/20171130210231.JPEG?imageView2/1/w/90/h/90
内容：


这店名牛.


好笑：111
评论数：0
第18条，id:qiushi_tag_119860417
作者id:/users/8142910/,作者名字:你的狗头在哪里。,作者头像://pic.qiushibaike.com/system/avtnew/814/8142910/thumb/20171130210242.JPEG?imageView2/1/w/90/h/90
内容：


今天我去逛超市，我发现，tt竟然跟口香糖放一起。我就问收银员，:“他们俩放在一起，有什么联系吗？”收银员说 :“他们俩个也没啥关系呀，一个是精装的，一个是相反的。”�[哀怨]�[哀怨]�[哀怨]


好笑：121
评论数：1
第19条，id:qiushi_tag_116771805
作者id:/users/30751334/,作者名字:再见·,作者头像://pic.qiushibaike.com/system/avtnew/3075/30751334/thumb/20151208215125.jpg?imageView2/1/w/90/h/90
内容：


不管走多远，别忘记自己


好笑：103
评论数：16
第20条，id:qiushi_tag_119853901
作者id:/users/33497339/,作者名字:八戒，看师傅签名,作者头像://pic.qiushibaike.com/system/avtnew/3349/33497339/thumb/2017030405565819.JPEG?imageView2/1/w/90/h/90
内容：


同事喝醉酒，断片了。朝我脸上咬了两口，揪了好半天才把脸从她的嘴里揪出来�[大哭]，发现肿起来的脸上还有两大坨黑色的淤血，刚去医院检查，打了破伤风，现在伤心欲绝的我在发糗百……


好笑：2014
评论数：175
第21条，id:qiushi_tag_119855808
作者id:/users/34617700/,作者名字:自由領袖亞洲洲長,作者头像://pic.qiushibaike.com/system/avtnew/3461/34617700/thumb/nopic.jpg?imageView2/1/w/90/h/90
内容：


你不要碰他


好笑：761
评论数：17
第22条，id:qiushi_tag_119860104
作者id:/users/16253187/,作者名字:赶脚的不会爱,作者头像://pic.qiushibaike.com/system/avtnew/1625/16253187/thumb/20171221162149.JPEG?imageView2/1/w/90/h/90
内容：


两岁半的女儿，昨晚回家说傻蛋女儿吃饭要乖，不然就是欠揍。女儿说:"干嘛叫我傻蛋，打死你。"�[捂脸]


好笑：192
评论数：0
第23条，id:qiushi_tag_119859511
作者id:/users/26875982/,作者名字:低调、、、*,作者头像://pic.qiushibaike.com/system/avtnew/2687/26875982/thumb/20150322215412.jpg?imageView2/1/w/90/h/90
内容：None
好笑：214
评论数：3