对各大新闻网站中热点话题的检测与跟踪系统

一、项目实施的目的、意义

随着信息传播手段的进步,尤其是互联网这一新媒体的出现,我们已经摆脱了信息贫乏的栓桔。由于网络信息数量庞大,与一个话题相关的信息往往孤立地分散在很多不同的地方并且出现在不同的时间,仅仅通过这些孤立的信息,人们对某些事件难以做到全面的把握。

所以我们需要这样一种工具,可以帮助人们把分散的信息有效地汇集并组织起来,从整体上了解一个事件的全部细节以及与该事件与其它事件之间的关系。

二、项目研究内容和拟解决的关键问题

(一)****将选定的话题/报道进行模型化处理

  1. 对不同的数据需要用不同的模型方法去处理,这样子可以得到较好的效果,常用的模型有语言模型向量空间模型

(二)****报告/话题相似性的比较

  1. 对所有的话题C1、C2、……Cn,要判断某一则报道S属于哪一个话题,就需要计算报道和各个话题之间的相似程度,最后把最高相似度和阈值进行比较。这里,我们需要对话题和报道之间的相似度有一个较好的运算处理,这也是一个亟待解决的问题。

(三)****对话题之间进行聚类和分类处理

  1. 判断某个新报道是属于已有话题还是一个新话题。需要我们把新报道和已有话题进行比较,如果相似度高于某个阈值,则把新报道归入相似度最高的话题中,如果对所有话题的相似度都低于阈值,则创建一个新话题。因此阈值的合理选取是我们要解决的关键问题。

  2. 在后期的跟踪训练中,需要我们用到对种子数据的训练能力。这里涉及到神经网络等相对高端的技术,也是对每个队员一次挑战。

三、项目研究与实施的基础条件

  1. 我们小队已具备对热点论坛、微博大V文章的信息采集能力。

  2. 数聚 (专为个人定制的信息流) 这个是我们团队之前做的一个数据采集的项目。说明小队成员有协作完成比赛项目的能力。

  3. 小队成员有阿里云服务器良好的使用能力,对服务器知识有一定的贮备。

  4. 小队成员是软件卓越计划班的成员,具有良好的接受和学习、探索新知识的能力

  5. 我们有优秀的计算机、概率论、量子数学老师的亲自指导的机会

项目参考文献

[1] 互联网中事件检测与跟踪系统设计与实现 于兆鹏

[2] 基于中文微博的热门话题提取与追踪 叶永涛

[3] 网络热门话题的跟踪建模与检测分析 李晶

[python] 基于k-means和tfidf的文本聚类代码简单实现中文文本聚类(切词以及Kmeans聚类)

四、项目实施方案

(一)****数据收集****,并进行文本预处理

  1. 利用网络爬虫****采集指定网页上的信息

  2. 除去数据中非文本部分

  3. 处理中文编码问题

  4. 中文分词

  5. 引入停用词

  6. 特征处理

(二)****建立数据模型,进行聚类分析

  1. 对文本类数据进行数据化模型化处理,使用语言模型,向量空间模型。

  2. 对报道数据进行聚类分析通过增量k-mwans算法。

(三)****对处理的数据的展示

  1. 根据时间、因果等因素对热点话题生成事件网络图谱

  2. 利用js前端技术,实现动态展示,新颖独特。

五、学校可以提供的条件

(一)****物质条件的支持

  1. 因为我们这个项目很有挑战性,所以我们组员之间很需要经常讨论交流,所以我们需要一间适中大小的实验环境。

  2. 最新的科研资料及书籍。

  3. 服务器的采购费用、新技术的学习费用等资金支持。

(二)****教师指导

  1. 由于我们对这方面的技术尚未成熟,还需要教师对我们的偏正。不过,我们还有时间去学习去磨练,应该是没问题的

  2. 该项目的实现需要用到概率论的高等算法知识以及神经网络和分布式系统等高端技术的支持,所以我们需要两位专业级老师的指导。

六、预期成果

能够实现对各大国内知名新闻网站信息进行时事话题追踪的系统。

七、经费预算

阿里云服务器3000元

阿里云数据库5000元

域名购买500元

书籍资料300元

总计:8800元

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容