数据不说谎:用网络爬虫探秘虎扑步行街

前言

前一阵子虎扑步行街内部举行的步行街女神投票大赛在网络上引发了不小的骚动,最终邱淑贞力压高圆圆成为新一届步行街女神,而高圆圆也继首届决赛惜败贾静雯后蝉联总亚军。比赛的赛况被微博大V和各大微信公众号疯狂转载,让众多女性网民开始重新认识真正的“直男审美”,也让步行街这个小众论坛走进了大众视野。

除了著名的“直男一条街”,步行街还有诸如“绿化一条街”、“985一条街”、“最坑爹小舅子/丈母娘一条街”、“平均年薪30万一条街”等神秘传说。作为一名热爱篮球的资深虎扑JR,逛步行街的时间却是不多,平时看过很多大神写的数据分析文章,自己也想玩玩爬虫,本着好奇 + 练手的初衷,便用我的主语言Java写了一个爬虫,并做了简单的数据分析,看看步行街是不是真如传说中一样神奇。

数据分析

我从步行街的首页开始,爬取了100页主题帖、帖子中被点亮的评论、每个帖子中前十页评论的作者,做了数据去重后得到了17万+用户数据、1万+个主题帖和10万+个评论,持久化到本地数据库中,并做了简单的可视化分析。  这是还没有进行分析的评论数据:

早年步行街以“很黄很温暖”的文化著称,虎扑用户有一个统一的名字叫 “JR”,官方主旋律版本的解释是缩写自“家人”,而实际上 JR 真正的意思是“贱人”,扫一眼这密密麻麻的文字,我已经能感受到这溢出屏幕的步行街独特气质了。

我吹了一杯防弹咖啡,收拾了一下心情,继续写代码来进行数据分析。

首先看一下用户数据,我们来看看步行街的男女比例:

由于有超过半数的用户没有填写性别资料,这里只显示了剩下的用户数据,虽然知道步行街用户以男性居多,但是当数据摆在我面前时,这惊人的男女比例还是让我留下了感动的泪水,再考虑到资料显示为女性的用户中可能还有些故意错填性别的女装大佬……“直男一条街”的称号真的是名副其实,难怪每次有女JR发帖,不管有没有爆照,下面的回复都像发现了新大陆一样激动……

再来看一下JRs的地域分布:

北京和上海作为一线城市,用户数量已经比很多人口大省还要多,拥有两个一线城市的广东省,则在总数量上遥遥领先,看来更modern的一线城市,更容易发掘虎扑这样新潮、小众的APP。

东部沿海地区的用户明显构成了JRs的主力军,且南方的JRs比北方更多,这跟虎扑发源于地处长三角的上海有一定关系,且东部沿海地区相比内陆经济更为发达,互联网的普及度更高,这也是影响用户数量的因素。

可以看到,有为数不少的生活在灯塔国的JR,看来虎扑用户已经有国际化的趋势了。

此外,北京的女JR人数是所有地区里最高的,莫非是帝都的女生比较有男友力,更容易融入“直男一条街”的文化?

再来看一下虎扑个人主页访问量最高的十个JR:

张公子不愧是虎扑的门面,有近八千万的访问量,比第二名的前任步行街总版主落洛整整领先了一个数量级,很多人都是在知乎和豆瓣等地了解到张公子,而不知道他最初其实是作为一个篮球写手发迹于虎扑的。上榜的还有很多JRs耳熟能详的名字,基本上都是虎扑各大版块的版主,还有一些虎扑网红,比如球衣女孩系列作者大皇蟒,懂车帝卡卡卡卡特等等。

让人吃惊的是,备受JRs爱戴的羊总(ID:我干过羊)居然只有200多万访问量,遗憾未能上榜。

此外,在浏览爬下来的数据时,我还看到了一个熟悉的名字:

也有近80万访问量,经验证确实是NBA球星林书豪本尊,可以说凭借一己之力拉高了JRs的平均球技了。前几天豪哥遭遇了导致赛季报销的伤病,在这里也祝福他早日康复,返厂升级后重归赛场。

分析完用户数据,我们再来看看步行街的帖子都在说些什么。

先来看看JRs的发帖时标题里出现的热点词汇:

我已经能用这些词造出几句非常符合步行街气质的标准发帖格式了:

我女朋友喜欢XXXX,在街上什么水平?

求问各位jrs,今年刚考上大学,XXXX专业,想买台电脑,大家有推荐的吗?

(某新闻标题)+ zt(zt是转帖的缩写)

下面再来看看事实上回复数最高的主题帖:

可以看到一些专题集中楼占据了大半榜单,没想到排第一的是《Fate》系列动漫的官方手游《FGO》的讨论专楼,韩国女团的应援楼也是热度惊人,看来步行街的死宅比我想象的要多很多。

最后来看看所有帖子下的亮评都在说些什么吧:

这些是过滤了助词、语气词等后的热点词汇,它们也比较完整地反映了步行街平日里聊的话题,包括两性关系(热点词汇里居然没有出现“绿”?)、家庭矛盾(emmm……)、日常见闻(各种囧事竞争年度MVP……)、社会热点(指点江山,激昂文字)等等,同时还喜欢给城市、大学、公司等等来排个座次争个高下,这也体现了虎扑篮球论坛的基因。

结语

本次分析采集到的数据样本有限,实际的结果可能有些许偏差,不过应该足以说明一些问题了,最后附上项目源码:GitHub:MagicToe和我的博客地址Crow Home,喜欢这篇文章的话可以帮我在Github上点个star,阿里嘎多!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容