爬取东方财富网数据的网页分析

自学Python已有3个月之多,浏览无数大神的佳作,收获颇丰。当初自学python就是为了学习爬虫,爬取网站上好看妹子的图片……[流口水][流口水]

言归正传,近期学习量化交易知识,发现东方财富网(eastmoney.com)提供的特色数据相当不错,在投资组合页面,看看周冠军,月冠军等排行榜上那诱人的红色数字,那要是我的操作该有多好啊。


东方财富网投资组合首页

后来一想,我可以把每周的排行榜爬取下来,选出比较厉害的人,跟踪学习别人的操作,那我是不是也可以在A股中分一杯羹呢?想想就诱人……


月度高手排行榜

说干就干,先分析下网页,点开月度高手页面,来到投资组合排行榜。在chorme浏览器中打开网页调试工具(按F12即可),重新加载页面,看到如下图所示


月度高手排行榜分析页面

在调试工具中,选择JS,可以看到网页加载过程中的各种数据。每个页面点开,也没发现什么有价值的信息。最后在Private_Rank_Sort.js的页面中发现url信息的蛛丝马迹,如上图红方框和红色箭头所指部分。这个url是不是我要找的排行榜的页面呢?于是保存Private_Rank_Sort.js页面,查看JS代码。


URL信息的组合

查看js代码,发现GetDat函数中的这个URL是由几部分组成,中间有两个变量type和callbackName。分析上下文可以看出callbackName是由字符串“CallBack”+type+8位随机数组成。那type变量的结构就是关键了,找到了type,整个URL的信息就能拼凑出来。继续在该文件中查找,在尾部发现这么一句:

var type=$(this).attr("sortvalue")

再后面是调用GetDat(type)函数


JS代码分析type

总算是找到type的出处了,那他的具体赋值呢。于是又开始搜索网页,最后再网页源码中找到了“sortvalue”属性的数据。如下图


网页源码

原来type=8101、8102、8104、8105、8106、8107分别代表不同的意思(怎么没有8103呢,我也不知道,不管它了,继续正题……)

取type一个值 8102 日收益吧,把URL拼凑出来


URL完整信息

把拼凑号的url地址复制到浏览器地址栏,回车。见证奇迹的时刻到了……


网站返回结果

一个Json结构的数据,拿来和网页对比一下,很容易猜出字典中Key的含义。

至此万里长征的第一步总算走完了,后面就可以用python中requests模块Get数据了。

总结:

1、分析网页最重要的是要先找到url地址。之后再去弄懂各个参数的具体含义,扩展获取更多的数据。

2、分析过程中要细心,有耐心,多用 查找 功能。找不到了再到网页源码中看看,说不定会有意想不到的收获。

3、异步加载数据的网页,一般在JS或XHR中取找url

4、善用web浏览器中的工具插件,我用的chrome浏览器,它的网页调试工具很好用,还有很多扩展插件,比如JSON-handle把json数据理清层次结构,CrapApi方便GET、POST各种带参数的url地址,即时查看返回数据,分析参数的作用

最后再说一下,我把爬取下来的排行榜数据进行筛选,选出几个活跃度高,周月年收益较高的,实时跟踪其调仓动作,跟买跟卖,收益还可以的,不得不佩服高手就是高手。哈哈

上张运行界面图


跟踪程序运行界面
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容