这篇文章的一部分稿子一年前就已写好，只是因为我实在缺乏这方面的专业知识，写出来的调侃居多，没啥营养。时至今日，大数据方面的知识我依然近乎为零，不过结合实际工作中遇到的数据分析与处理，聊聊自己的一点点心得。
大数据这个概念火了很多年了，我等吃瓜群众刚开始“不明觉厉”，直到现在每天被精准投放的广告与视频频繁轰炸，不禁感概：天下苦大数据久矣！
牢骚归牢骚，不过大数据本身也成为了这个时代的一种稀缺资源。当年马斯克成了世界首富后火出圈了，特斯拉对其大数据的掌控也被人津津乐道。最初吸引眼球的是特斯拉的自动驾驶数据，加上媒体的不断吹嘘，让人觉得不久之后，特斯拉就会凭借其鹤立鸡群的自动驾驶技术而独霸江湖！不过目前的现实是，无论从技术层面，还是政策层面来看，特斯拉的自动驾驶在中国市场并未取得明显的优势地位，华为的解决方案隐隐有着赶超的势头。另一方面，特斯拉的超级工厂对制造过程中的大数据收集与分析却被人所忽略，作为“第一性原理”的绝对践行者，特斯拉对造车理念的革新更让人充满了敬意。这也让我充满了疑惑，传统的欧美车企，数十年积累出的海量的生产数据，怎么在特斯拉这个后来者面前，显得那么轻于鸿毛？
也许，其中的一个原因就在，大数据的收集仅仅只是个开始，很多老牌的大公司仅仅做到这一步就停了下来，其实，更重要的工作是对收集到的数据进行数学建模，以期可以“预测未来的行为”。这种工作也有些年头了，20年前叫做statistical analysis，10年前叫data mining，5年前叫machine learning，最近就成了big data。在10年我其实有个机会可以转行做data mining，很可惜，没有如愿。只能继续留在工厂做社畜，每天面对的都是各种生产数据，之前是产品良率/不良率多些，现在是器件的各种性能参数以及表征它们的各种图形。
因此，我接触到了不是大数据，仅仅是管中窥斑般地做极为有限的数据，进行对比分析，找出造成数据波动的factor（诱因）。
总的来说，数据对比分析法的 3 个基本要素如下：
（1）数据对比需要在同一个标准上。
（2）数据对比需要建立样本数据的目标值（预期值）。
（3）分析出导致数据异常的影响因素。
统一数据的标准，这很好理解，只有同种类型的数据才能放在一起比较，不能拿A批次产品的电压值跟B批次产品的电流值进行比较。但是必须要考虑到process variation（工艺波动），比如设备别差异（同道工艺设备A与设备B的差别），原料别差异（材料供应商A与供应商B的差别），site别差异（工艺uniform所限而形成的差别），以及其他各种已知或未知的差异。记忆中印象最深的是气候所造成的差别！其实在理想的超净间中，室外气候的差异是可以屏蔽掉的，不过实际上总有些吊诡的时刻，比如说要在量产的产线中搬入新的设备，就得临时打开搬入口，并在设备搬入后再把搬入口封闭，不过有时开放搬入口对超净间造成的影响，却需要一段时间才能消除，比如说盛夏时湿度超过100%的空气，以及由此引发的异常静电损伤（ESD）。
因此，在选取数据时，最好要排除掉已知因素所造成的variation，即选取同设备、同材料、同Site以及同批次（或临近批次）的产品进行比较。
数据目标值的制定在工艺稳定时，往往是比较容易的。可是在新工艺、新产品、新结构以及新产线时，制定目标值就是件极其艰难，但却极为重要的事，尤其是还掺杂了技术以外的因素时，有过相关经历的人都懂，我也就不明说了，我只拿我减肥的事简单说明下。
我是个易胖体质，过段时间就得减减肥，不然身体臃肿得不行。从高中毕业到现在，体重从215斤下降到180斤，然后到160斤，之后就在160斤和180斤之间反复震荡。去年过年后开始的减肥，我决定数字化自己的减肥过程。哈哈，牛吹得有点大，其实就买了个智能体重秤而已，不光可以测量体重，还可以测量体脂、肌肉率、内脏脂肪率等等数据。撇开这些这些测量数据的准确性不讲（在实际生产中，其实很多数据是测不准的......），如果我们假设体重数据是准确的，那么这个数据也大有讲究。早上测还是晚上测？饭前测还是饭后测？运动完测还是脱光衣服测？都会到导致体重数据的波动。拿我的体重来说，不同的测量方式，会造成我的实时体重有2到3斤的波动。如果说，要评价一个新厂商供应的材料是否能导入生产，我要不要选一台状态更好的工艺设备进行process，再选选一台灵敏度不高的测试设备进行量测，最后再让一个头脑灵活的工程师来写评估报告呢？毕竟昨天晚上......
分析数据异常背后的影响因素时，往往需要一定的假设，这时候主观臆测和胡思乱想是不可取的。这时候，我们仿真工作的意义就出来了，简单来说，先把怀疑的因素统统当作输入的变量，进行交叉实验，看看仿真结果的变化是否与实际相吻合，然后列出相关因素的sensitivity，为下一步的实际确认工作指明优先级！
整个数据分析的过程，可能需要多次的循环，才能找到改善的方向。只有让数据分析得更有效率，更加自动化，产品才能更为快速地进化。也许，到了那时候，我的工作会被一串代码所取代，想到此处，我很矛盾！
