课程信息
大数据导论
[美国加州大学圣地亚哥分校]
[Coursera]
这是coursera中的Data Engineer（数据工程）第一课，介绍什么是大数据及其简单应用。
| 收费与否 | 可免费旁听（无证书） |
|---|---|
| 教学语言 | 仅英语 |
| 有无课件 | 有 |
| 条件 | 零基础 |
第一周 WEEK 1
Part 1 Why big data
1. 什么产生了大数据技术？
data torrent + cloud computing --> big data
有两种主要因素：
第一，各种设备、软件产生大量数据；
第二，云计算使得信息可以在何时何地储存、处理、返回结果。（简单说就是同步到服务器进行“云”计算和处理）
2. 怎么应用大数据？
2.1 针对客户的分析
（1）个体：提供个性化服务，提高利润和客户满意度。
针对每个用户不同的浏览记录、购买记录、社交网络信息等等，算法自动推荐不同商品和服务给客户。提高了客户购买的概率，从而获得更高利润。同时，客户认为能更快速获得合适的服务，提高了客户满意度和用户粘性。（一个闭环）
例如:
购物平台会根据你以往的购买记录，对你有针对性的投放广告和推荐服务。视频平台会根据你的观看记录推荐符合你口味的视频，获得更高点击量。
（2） 总体：调整商品和服务结构，降低成本，提高利润。
分析整体销售情况，增加热销产品的库存，下架冷门商品。
例如：
航空公司分析机票买卖情况，发现早班机票都会卖完。根据客户浏览记录和点击记录，航空公司发现很多客户希望购买早班机票。后续，航空公司相应地增加了早班机票的班次，或者安排更大的航班，卖出更多机票以获得更高的利润。同时减少晚班机票，降低成本。
（3）分群体：提供分群体的针对性服务
简单的例子就是：针对折扣款、中产、高端奢侈品等等，同一个控股公司会根据群体推出不同的品牌服务。
2.2 改进商品
根据以上分析，购物网站上会有客户评论和评分，自然语言（NLP）处理评价后分析商品有哪里需要改进，后续反馈给厂家进行修改。达到平台和厂家的双赢合作。
2.3 推广应用到各行各业
例如智慧城市，实时监控交通情况没减少堵塞，等等。
3. 大数据应用实例一： 监控山火
这里两个实例很好的地方是教授自己的项目。
山火监控的难点：
森林占地太大，无法预测，人工昂贵且监控范围小。如何监控山火？
其实就是整合各处产生的信息，设计软件和模型自动告警，预测山火蔓延情况，达到更好的预测山火，减少人员伤亡和财政损失。信息来源
a. 传感器：
温度传感器、气压传感器、卫星图片和区域监控（需要图片处理技术）
b. 个人：
社交网络实时信息（文字、图片），实时报警信息
c. 组织：
主要是过去记录的电子信息，根据以往信息建模
4. 大数据应用实例二：拯救人类生命
简介:
提供个人化精准用药。为什么要对不同人提供不同的医疗服务？
（1） 因为每个人对不同的药物反应不一样.
例如: 对A有效的药，可能对B无效。同一种药，可能A要吃三片，但B只需要吃两片就能获得一样的效果。
（2） 实时监测病人对药物的反应，提供更准确的救治。
例如： 有一些病人是第一次服用药物A，虽然药物A对大多数病人有效，但病人可能不幸地对药物A过敏。实时监测能快速告警，并且通过准确的数据找到过敏原，挽救生命。
- 信息来源：
a. 组织：
得益于医院对医疗信息电子化，现在有大量是医疗信息；
国家和国际的疾控中心资料；
人类基因组计划，人类脑补计划等等。
b. 传感器：
过去医院的各种监控设备用完即丢，不会保存。现在硬件储存成本降低，能把数据存储为电子信息。
可穿戴设备与移动手机中的软件，实时记录健康情况（心跳，血压等等）
c. 个人：
社交网站中实时记录感受，各种心情分享软件（例如人工智能做的聊天用“心理医生”）
PS： 以上是个人总结和个人笔记，2018.1.7
