室内数据包括开放数据，爬虫抓取，传感器和日志采集，他们各有特点。
1、开放数据一般是针对行业的数据库，比如美国人口调查局开放了美国的人口信息，地区分布，交易情况数据除了政府外企业高校也会开放相应的大数据这方面相对来说做得好一些，国内贵州做了不少大量尝试云平台，逐渐开放了旅游，交通商务等领域的数据量。
2、爬虫抓取一般针对特定的网站或APP，如果我们想要抓取指定的网站数据，比如购物网站的购物评价，就需要稳住定的话中抓取。
3、第三类数据源是传感器，它基本上采取的是物理信息，图像视频，某个物体的速度、热度、压强等。
4、日志采集，这是统计用户的操作，我们可以在前端进行买点，在后端进行脚本收集统计，来分析网站的访问情况以及使用瓶颈。
知道了室内数据源如何采集这些数据
如何使用开放数据？
1、开放数据源，可以从两个角度来看，是单位的委托，比如政府，企业，高校，一个就是行业维度，比如交通金融能源等。开放数据平台如：北京大学开放数据平台
2、如何使用爬虫抓取？
最直接的方法就是使用Python编写爬虫代码，前提是需要费用的基本语法，除此之外php也可以完善，尤其是涉及到多线程的操作。在这个过程中会经历三个过程。
* 使用request内容，我们可以使用request库来抓取网页信息，可以说是拍摄的利器，也就是Python通过这个苦爬取网页中的数据，非常方便，可以帮助我们节约大量的时间。
* 使用x path解析内容，XPath，是XML Path所写，也就是xml路径语言，它是一种用来确定xml文档中某部分位置的语言，在开发中经常用来当做小型查询语言x可以通过元素和属性进行位置索引
* 使用Pandas保存数据判断是让数据分析工作变得更加简单的高级数据结构，我们可以用它保存的数据最后通过再写入xls或者MySQ;等数据库中。
这款常用的工具火车采集器、八爪鱼、集搜客
火车采集器已经有13年历史，是老牌的采集工具，不仅可以做抓取工作，也可以做数据清理，数据分析，数据挖掘和可视化等工作，书记员适用于绝大部分的网页，网页中能看到的内容都可以通过采集规则进行抓取。
八爪鱼是知名的采集工具，它有两个版本，一个是免费的采集版本，还有一个就是云彩及付费免费采集模板，实际上就是内容采集规则，包括电商生活服务类，社交媒体内论坛类的网站都可以采集，用起来非常方便，也可以自定义任务。
云采集就是当你配置好，采集任务可以交给八爪鱼的云端进行采集，八爪鱼，一共有5000台服务器，通过云丹多节点并发采集，采集速度远远超过本地采集，此外还可以自动切换多个IP，避免IP被封影响采集，做过工程项目的同学应该能体会到云采集这个功能太方便了，很多时候自动切换IP以及语音采集才是自动化采集的关键。下一篇详细介绍八爪鱼的使用。
集搜客，这个工具的特点是完全可视化操作，无需编程，整个采集过程是所见即所得，抓取信息结果错误信息都反映在软件中。相比于八爪鱼来说，没有流程的概念，用户只需关注抓取什么数据，而流程细节完全交给软件处理
缺点是没有云采集功能，所有爬虫都在用户电脑上跑
3、如何做日志采集？
日日采集最大的作用就是通过分析用户访问情况，提升系统性能，从而提高系统承载量，及时发现系统存在瓶颈，方便技术人员基于用户实际的访问情况进行优化。
日志就是日记的意思，它记录了用户访问网站的全过程，那些人在什么时间通过什么渠道（比如搜索引擎网址输入）执行了哪些操作系统是否产生错误请求时间用户代理这些数据都可以写在一个日志文件中，分成不同的日志文件，访问日志和错误日志
日志采集分为两种形式
1、通过Web服务器采集
2、自定义采集用户行为
埋点是什么？
埋点就是在有需要的位置，采集相应的信息进行上报。每一个买点就像一台摄像头，采集用户行为数据，将数据进行多维度的交叉分析和真实还原出用户使用场景，用户使用需求。
买点就是在需要统计数据的地方植入统计代码，当然植物代码可以自己写，也可以使用第三方统计工具。之前讲过不重复造轮子的原则，一般来说需要自己写的代码，一般是主营核心业务，对于买点这种监测性的工具，市场上已经比较成熟第三方的工具比如友盟、Google Analysis,talking data。
日采集有助于我们了解用户的操作数据，用于运维监控，安全审计，业务分析等场景一般外服务器会自带，也可以使用是从不同的服务器集群中采集传输大量的日志数据，当然我们也可以使用第三方的统计工具或者制定以得到自己想要的统计内容。
总结
数据采集是数据分析的关键。数据采集的方法很广，开放数据、爬虫、日志、传感器。
需求不用，采集数据也不同。及同行业，数据采集会和摄像头或者测速仪有关，对于运维人员日志采集和分析这些观点，我们针对特定的场景选择合适的采集工具，Kaggle。
预想比特币的未来走势需要哪些维度的数据源？
交易量，历史价格、热度指数(分析下降原因)、政府政策、股市走势、（是否有相关性）
