《从大数据走向学习时代》_笔记

1. 从大数据走向学习时代

2.

1)迁移类信息(加入时间维度)

当分布信息加入时间维度后,即转而变为迁移信息。理论上,凡是分布信息均可增设时间维度,地产价格的演变等也属于该范畴。迁移信息的作用通常是反应城市的空间联系度。该类研究在目前来看最具有市场价值与普及使用价值。遥感信息、地产信息、轨迹分布、签到信息、各类地图POI信息等。

2)分布类信息:

该类数据主要指独立的个体信息数据,即指在特定时空内某一个客观特征基于大量样本采集之后呈现的空间分布,且研究对象可人可物。分布信息是开展城市研究的基础,为后两种信息的发展奠定了基础,并提供对照。分布类型数据是大数据之于城市研究的基础。签到信息、手机信令、公交卡数据、出租车轨迹数据、TD数据。

3)评价类信息(加入主观维度)

在分部信息中,将客观信息替换为主观评价类信息,该信息则转变为大评价信息。它与大分布信息的区别在于以人为本的出发点,反映了个人对于城市空间的认知与感受。考虑到不同的个体对于城市客体会产生主观的价值判断,因此这类信息的复杂度最高,但同时挖掘潜力也最大。点评打分信息、语义评价信息、城市视觉意象信息分析。

一.大数据思维

(分布类信息)POI,商户店铺信息,静止信息()

(迁移类信息)用user ID去定位每一个人的信息,将微博的定位信息提取出来,切线连接强,或者是法线连接强

(迁移类)交通卡刷卡数据,processing,pulse of boston taxi

(评价类)情感语义分析 google地图的照片,如何去研究图像的识别

(评价类)用点评去分析整个城市交通区的负荷等级

分布:基础,用于判断整体格局

迁移:实用型价值很高,比如说airbnb,人流分析,现金流分析(结构性分析,动态监测)

评价:以人为本的设计相关,城市感知认识有关

分布:可买可挖,统计文件一般也能获得

迁移:基本为封闭的数据(流的信息)

评价:存有一定的开放数据

二. 迁移类信息事例

基于LBSN数据的全国人口分布与流动研究

1)腾讯LBSN大数据(location-based social network)

2)全国范围社交数据研究

3)县级单元为经度

4)以流动数据为主要研究对象

5)用于解决城市出行的拥挤问题

数据源:QQ位置数据

公众端:城市热力图服务

静态和动态的人流信息

1)静态人口分布信息

县级单元常住人口分布数据

县级单元四时段累计人口分布数据

10km四时段网络人口分布数据

网格包含性别、年龄段分区等统计数据

县级单元数据以1km网格基础数据为基准

2)动态人口流动信息

县级单元四时段人口流动数据(工作日、周末、国庆、春节)结合单元常住人口数据进行判别

3)动态消息流动信息

县级单元四时段消息流动数据

中部塌陷地区(劳动力输出,人口流出)

钻石结构(跨省流动,省与省之间的关系)

现状分析,城市统计一定是静止的,没办法,拿到完美的数据

各城市的流动对比

各城市群流动对比

人流.经济流,自然流,政治导向

城市群之间的关联度

基于社团发现模型(community detection)城市社团,脱离空间地理信息,基于人流联系度的城市自组织模式的发现研究。整体上,与行政区划有着高度一致性局部存在一些小型的自组织单元城市连绵与行政区划的划分问题。

典型的单核集聚性

典型的多核集聚性

多心分散型

paycore(首位度,)

*城市夜光地图(NASAS),ENVI

从大数据到学习时代

1. 分布类信息,迁移类信息,评价类信息

2. 研究出租车的轨迹数据(pulse of boston taxi)

3.微博签到信息的,user id

4. 评价类信息,语言类评价和图像类评价

5. 情感语义分析,fliker,parerama

6. 分布(简单),迁移(中间)和评价(最难)。

7. 分布:用于判断整体格局。开篇布局的第一张图。迁移:结构性分析、动态监测。流的信息难以获得,必须要和大的厂商或者机构有一定的协作。评价:城市感知认识、人性化设计。

*图像识别照片,得出一系列信息

*

8. 迁移

1)基于LBSN大数据的全国人口分布与流动研究

中国城市规划设计研究院和腾讯云的合作

1.腾讯LBSN大数据

2. 全国范围社交数据研究

3. 县级单元为经度

4. 以流动数据为主要研究对象。

LBSN: Location based social network,更偏向于社交,偏向于QQ移动端的数据,月活用户六亿,在上海出现踩踏事故的时候,成立的小组。

所以呢,在这个项目上面,数据源为QQ位置数据。公众端是,城市热力图服务。

需要:静态人口分布信息,十公里网格全国制覆盖信息。动态人口分布信息,就是用的是四个时段,工作日,周末,国庆,春节。

*年龄结构的考虑,统计的口径也是不一样。年龄结构差异性,微信,30岁左右。QQ,差距个五六岁。两个圆圈表示的就是人口劳动力流失的信息在里面。

*跨省流动的类似信息,都会反映出来。

*这种研究,是为了啥:在做一个现状分析。

*研究出现得多,可以去做个校核的工作。

*城市群,有整体流出流入的关系,和内部关系。

*不同时间段会有不同的结构出现。

*珠三角,内部最高

*可以用城市群,去算关联度,流过来的人和

*样本会有个数据倾斜

*单中心结构,和多核,网状结构

*k-core, 首位度

*吸血型城市

*人工智能

*深度学习

*streetTalk

*基于城市影响感知评分得到的慢行地图

*LBSN,人口流动,只是城市群落的一个维度,经济流研究(企业的总部分支机构),安全提,卫生提,还有旅游方面数据。校核的差异性,是可以理解的范围内。

*数据倾斜,怎么去解决呢?

*SODA安全感知地图,

*宏规,控规,修规

*封闭数据价格不大

*people.csail.mit.edu/bzhou

*zhoutongwang.com

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容

  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 31,894评论 2 89
  • “你有玩过超级玛丽么?” 我猝不及防的问了一句,不等回答却让自己先愣了一下,对了,我的游戏机被妈妈藏在哪儿了? 十...
    王大橙成大王阅读 710评论 6 9
  • 走过了两年的岁月, 谁是心中的一首歌, 拿的起放不下命格, 若苦等几圈的年轮, 多少个春夏与秋冬, 尚不能释怀获新...
    小庶公子阅读 176评论 0 0
  • 放下生活的琐碎,过几日与世隔绝的生活 一身素衣,一碗素菜,轻来轻去,活在当下 口念阿弥陀佛,心住莲花国 凌晨四点,...
    姣_d051阅读 214评论 3 3
  • 觉察日记-15 觉察事件:周末两日的沉寂,在放空中,自己有了大量的盈余时间去思考,回顾近期自己的点点滴滴,各种得失...
    慧玲学阅读 170评论 0 1