We are being watched.
我们被监视着
The government has a secret system,
政府有一套秘密系统，
a machine that spies on you every hour of every day.
一台每时每刻都在监控你的机器。
I designed the machine to detect acts of terror,
我设计这台机器是为了侦测恐怖活动，
But it sees everything.
但它却看到了一切。
Violent crimes involving ordinary people,
牵涉普通人的暴力罪行，
the government considered these people irrelevant.
政府认为这些人无关紧要。
We don't.
而我们不。
Hunted by authorities, we work in secret.
受当局追捕，我们只能秘密活动。
You' ll never find us.
你永远找不到我们。
But victim or perpetrator,
但无论是受害人还是行凶者，
if your numbers up, we'll find you.
只要你的号码被列出来，我们将找到你。
2011年9月22日，一部名为《疑犯追踪》的美剧开播。这部剧讲述了一位推定死亡的前CIA特工与一位神秘的亿万富翁联合起来，运用一套独特的办法制止犯罪的故事。
而文章开头被引用的一段牛哄哄的台词就是这部剧，除开第一集外，每集的开场白。一文一武的两位主角不断地上演着拯救普通人，为自身过往赎罪的故事。
“机器”（the machine）是这部剧的独特卖点。它拥有从社会里每一个摄像头和互联网上收集信息的能力，通过分析这些信息的关联，预测每个可能犯罪或可能受害的人。“机器”会把这个人的社保号码发给主角，然后故事展开，主角们据此开始行动。
在剧中“机器”的预测十分准确，非常智能。其实在现实中，这样的事正发生着。
Palantir，一家创建于2004年估值达200亿美金的未上市公司，在全球未上市科技公司中排名第四，仅次于Uber、小米、Airbnb。作为一家大数据分析领域的公司，它最大的功绩是通过数据发现隐藏的秘密，帮助了奥巴马政府追捕本·拉登的行动。反恐机构基本上都是Palantir的客户，例如美国中央情报局（CIA）、国防情报局（DIA）、联邦调查局、军队、大城市警察。
会不会感觉很熟悉。就像上文《疑犯追踪》开场白描述的那样，“政府有一套秘密系统，一台每时每刻都在监视你的机器，设计这台机器是为了侦测恐怖活动。”
看起来很恐怖，再一想到“棱镜门”……这个话题不适合继续想下去了。
把这些撇开到一边，这里想说的是一直都是热门的技术——大数据。
大数据的奇妙本质
大数据是个很宽泛的概念，在技术层面，包括人工智能，机器学习，统计学习原理，自然语言处理，神经网络，模式识别，数据挖掘，数据处理，数据库，云存储……抛开让人发晕的技术层面，仅从思维层面来了解了解大数据。
现代人的成就得益于“机械思维”的形成：
机械思维的形成可以追溯至古希腊。欧洲之所以能够在科学上领先于世界其他地方，在很大程度上是依靠从古希腊建立起来的思辨的思想和逻辑推理能力，依靠它们可以从实践中总结出最基本的公理，然后通过因果逻辑构建起整个科学大厦。
机械思维的特点是所有理论都是建立在确定性基础上——基于一种假设，利用逻辑推理，推导出整套理论。
然而到了信息时代，机械思维的局限也越来越明显：
1、并非所有规律都可以用简单的原理描述
2、继续找因果关系变得很困难，因为简单的因果关系都已被发现了
3、随着人类认识的发展，人们发现世界本身存在着很大不确定性
“不确定性”来自两个方面：
1、当我们对这个世界的方方面面了解得越来越细致之后，会发现影响世界的变量其实非常多，已经无法通过简单的办法或者公式算出结果
2、客观世界本身的特性就是不确定性。一个原子内电子的运转轨迹无法准确测量。原因是我们测料活动本身影响了被测量的结果。对股市上的操作也类似，当有人按照某个理论买或者卖股票时，其实给股票带来了一个相反的推动力，这导致股市在微观上的走向和理论预测的方向相反。
面对难以用公式或者规则来表示的情况，概率论被用来描述这些不确定性。在概率论的基础上，香农博士建立起一套完整的理论，将世界的不确定性和信息联系了起来，这就是信息论。
信息论构建了现代信息社会。它第一次量化地度量信息，并且用数学的方法将通信的原理解释地一清二楚。
今天，信息论已经被广泛地用于管理，因为它为我们提供了信息时代的方法论。而在信息论的指导下，大数据的本质也能够被看清了：
1、首先承认世界的不确定性，这样我们就不会采用确定性的思维方式去面对一个不确定性的世界。
2、巨大数据量、多维度、完备性，这三点大数据的特征达成后，就可以利用信息消除不确定性。也就是说，人类虽使用信息由来已久，但到了大数据时代，量变带来质变，采用信息论的思维方式可以让过去很多难题迎刃而解了。
信息与情报
大数据看起来这么神奇，达到了人类思维革新的高度。但转到“人”这个视角，也就是从我们自身来看，大数据也好，机器思维也罢，根本的目的都是为了能获得能处理信息的能力。
回到美剧《疑犯追踪》，这部电视剧的核心卖点就是“利用大数据提供情报”。由于这个因素的存在，使得犯罪题材里“主角所到之处永不安宁”的现象显得合理了一些……芬奇，主角之一，利用现代信息技术，包括各种黑客手段，使得他们应对各种情况都如鱼得水。
如果说获得尽可能多的信息、情报是我们的渴望的话，即使在没有大数据的帮助下，人类还是能想尽办法获得信息，获得情报。在经济商业领域，竞争情报已经成为国家战略的一部分，最突出的一个特征就是：各国情报部门也越来越多的渗透到经济领域。
美国中央情报局有87%的活动都投入到了经济领域
俄罗斯克格勃的这一数字为75%以上
日本和韩国更是达到了90%以上
日本可以说是商业情报做得最早的国家，和韩国一样，他们都是情报立国的国家
战后的日本，90%的情报活动直接用于振兴经济。其著名的情报公司有三菱商社，三井地产，伊藤忠商社，丸红，住友商社，日商岩井，东棉，兼松江商和日棉地产。他们在世界187个城市设有800多家分支机构。
其中三菱商社在全球有200多个办公室，员工13000多人，每天搜集商业和竞争信息30000多条，在中国有21个办事处，员工430多人。它每年大约花6000万美元，在全球收集商业情报，对一张报纸，一本杂志，一幅广告都要研究透。（注：这些数据不是最新数据）
三菱商社的这些办事处：
大约5-60秒，即可获得世界各地金融市场信息
1-3分钟即可查询日本与世界各地进出口贸易情况
3-5分钟，可查出国内外一万多个重点公司的各年度年产情况
5-10分钟，便可查出各国政府的各种法律，法令和国会记录
商业世界与个体
从对信息的处理方式，再到把信息整理成有用的情报，这个过程不只是一个组织需要的做的事，对于我们每个独立的个体也是必要的。在个体的商业活动中，除了资源竞争和思维模式竞争之外，很重要的一点就是信息情报竞争了。
信息情报除了可以直接获得外，还可以通过一些分析研究方法间接获得。对于个体来说，“大数据”这个概念太遥远。从现实角度出发，我们真正需要并且能掌握的是“调查能力”和“分析能力”。
1、调查能力
首先，需要与事实为友。这是进行调查的一个重要前提，因为收集信息的首要目的是为了反映真实，而我们很容易犯的一个错误却是用自己的直觉代替事实。事实可以弥补直觉的缺陷，同时也可以提高调查的可信度。
其次，勤于实地调查。而实地调查有两个主要的方法：观察和访谈。这里贴一篇关于访谈的文章：向记者学方法，做好用户调研交流
最后，具备编程能力。网络已经成为获取信息的重要窗口，而编程的学习并不是“难于上青天”。恰恰相反，编程是一门技能，就如学吉他，学英语一样，需要的是肯下功夫学习。程序的目的是为了提升效率，解决某些如果用人工来做成本会很高的事情。而在信息收集方面，某些程序语言可以提供比起人工来说高出几倍的效率。关于这一点有一篇不错的文章：为什么说编程和英语是每个人都必须掌握的技能？
2、分析能力
首先，进行初始假设。面对一个问题，特别是一个复杂问题的时候，如果一上来就找一大堆资料，消耗了大量时间在研究这些材料上面，可到头来发现解决问题的关键因素与已经研究的大部分材料都没有关系，显然这是很差劲，没有效率的方法。正确的方式应该是先对问题的解决方式做出一些假设，然后寻找对应的资料验证。这也是科学领域常用的方法，贴一个关于科学实验方法的介绍文章：《弄明白你学到了什么》短文翻译2016-8-26 - 简书
其次，做到与知识为友。掌握相应所需要领域的知识是提高“初始假设”准确率的关键。在商业方面，有一本非常非常非常好的教材，名字叫《认识商业》，封面如下图：
再次，拥有逻辑思考能力。比如归纳，演绎。值得注意的是：重点不只是知道这些，而是多练习逻辑思考，把它变成我们思考问题时的本能。参考文章：金字塔原理简述及其案例
最后，培养数据分析思维。可以先了解基础却又强大的三种数据分析方法：比较、构成和变化。
关于这三点的介绍文章：分析是个基本功，掌握三种就够了
有了分析方法的同时，也要相应地培养数据收集意识。并且如果对收据分析有兴趣，还应该进阶接触统计学。还是那个原则：没有什么是不可以学的。
结语
其实这么多的方法，建议，行动指南的目的都是为了获得洞察力（Insight），形成所谓的洞见，获得独立思考的能力。
最后的最后，再贴两篇关于洞察力的文章：
（如果你觉得这篇文章对你有用，请点一下“喜欢”，一定要点一下！）
