爬取豆瓣近4000本书,爬虫告诉你,在热门标签下,大众都喜欢看什么书?

信息的获取能力是当下大数据时代不可或缺的能力,一页页通过人工点击获取信息,似乎变的低效和枯燥乏味。

试想一下,如果你想知道当下哪几本小说最受欢迎,你会怎么做?

你可能会问度娘,让她告诉你,可是即使你知道了,但你就不好奇到底有多少人评论了这些书?

于是你可能会去翻豆瓣读书,里面去寻找对应的热门标题,然后一页页查看最热的评论人数和具体的内容。

虽然里面也有一些排序,但是你就不想可视化的知道,这些热门书在特定样本数量中的火热程度?

可能你会一页页翻,一页页找,或许,你能找到前3本最热门书。但是,如果是top10或20呢?如果你想知道更有趣的书名呢?如果你想知道其他标签呢?比如,科技,心理,人际关系等等。

当你翻页失去兴趣,翻到手抽筋时候,内心的烦躁和怒火急剧上升。“我为什么要找这,根本毫无意义,再见,不找了。”

大量的重复工作,让我们失去耐心和兴趣,以至于我们开始否定当时的好奇心是否有意义的时候,我们会放弃,否定当初的决定。

看似这件查找最热书目的事情毫无意义,但是确实如此吗?

我之前也觉得没啥意义,当我抓取到数据和将其可视化后,我发觉,原来数据可以这么玩,这么有趣。

我的解决方案:requests+beautifulsoup+wordcloud

1/ Requests

抓取网页html到本地,打印出来,看是否被抓取下来,为后续解析做准备。

图片发自简书App

2/ BeautifulSoup

解析抓取下来的网页,然后通过CSS选择器选取想要内容对应的标签,然后打印出来看。刚开始很难说一次找准标签,多试几次就好了。如果还是没法正确输出,请求助老司机。最终,将输出内容取文本就好啦!

图片发自简书App

3/ Wordcloud

将抓取到的信息,可视化为云图,从而找到最为热门的书名,是不是很有趣。

图片发自简书App

下面是,通过爬取10个豆瓣图书标签(每个标签下前20页,共计爬取近4000多本)得到的最热的30本书,包含领域分别为,热门小说,名著,教育,科普,传记,心理,爱情,人际关系,创业和生活。

图片发自简书App

下面是各自的词云图,可以明显的看出,在众多领域的图书中,受欢迎的书名变的极为醒目,一眼就可以看出来,最美的图书墙哦!爱读书的你,是不是已经蠢蠢欲动了呢!

1)热门小说

Top 3的小说的评论都达到了十几万条,极大的说明一个现象:大众对小说的热爱真的算是到了痴迷的地步。难怪有那么多人疯狂写小说,哈哈,需求太大!

热门小说

2)名著

百年孤独,红楼梦和简爱成为最热的名著。这些书可谓是经典。貌似自己一本也没读完过,有些惭愧。后面至少补一补吧!

名著

3)教育

窗边的小豆豆和亲爱的安德烈成为教育书籍中的两颗璀璨明珠,评论过6万。书名起的也很可爱和温馨。

教育

4)科普

人类简史成为当下科普书籍中的冠军,每当去书店都会看到它被放在很显眼的位置。捧着这本板砖,带你追溯人类发展,这是一件多么震撼的事情啊!

科普

5)传记

乔布斯传当之无愧成为传记类书籍的冠军,一个传奇人物的一生,会给我们带来很多启发和思考。下一个乔布斯,会是你吗?

传记

6)心理

天才在左,疯子在右以访谈录的形式记录精神病患者的生活。我想读后肯定很震撼吧!

心理

7)爱情

村上春树的大作,还是值得好好拜读一番,挪威的森林,略微伤感的爱情小说。你们看后有和感想呢?

爱情

8)人际关系

有网友说,非暴力沟通,其实,是一个本很好的讲人际的书,不要被题目带偏了!

人际关系

9)创业

从0到1不就是一个创新的过程嘛!这让我又想到了创新简史的根、域和维创新理论。

创业

10)生活

活着,这个词本身就给人带来无限的遐想和思考。我们活着,是为了更好的遇到最美的自己吧!

生活

这30本书中,您读过几本呢?

大数据推荐给你的书单是不是感觉很有份量呢?

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,311评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,339评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,671评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,252评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,253评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,031评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,340评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,973评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,466评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,937评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,039评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,701评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,254评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,259评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,497评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,786评论 2 345

推荐阅读更多精彩内容