• Author: 杜七
• Date: 2016.06.03

回答朋友关于『数据分析』的几个问题，汇总于此。

1，市场和环境

『问』：

• 1）现在一线城市和二线城市的数据分析师真有像报告上所说的那么稀缺吗？现在的行情是怎样的呢？

• 2）数据分析师日常的工作是什么？分为哪几类？传统公司和互联网的数据分析师工作有什么不同点吗？

<u>杜七『答』：</u>

• 1）目前『数据分析师』这个JOB 确实有缺口，为什么呢？这个由『数据分析师』本身工作特性决定：

  • 『数据分析师』，『数据』+『分析』+『师』，这个意味着从业者需要懂『数据』，也要会『分析』，到了『师』的境界，说明有一定的经验积累。一般的大学应届毕业生，大学里面没有类似的专业，懂计算机的不懂数据，懂数据的计算机技能差点，懂数据和计算机的逻辑性不好，最大的一个问题是，很多同学对于『定义问题』，『分析问题』，『思考问题』等基本的能力，都不具备，更别问『具体的市场，或者业务的分析和经验』，所以，应届毕业生中『统计学』专业的相对靠近『数据分析师』的基本技能，但是，也仅仅是技能上的靠近。如果毕业以后不从事这个行业，以后想转行做这个行业，就相对困难一点，毕竟，『隔行如隔山』。另外，上面也侧面提到了，『数据分析师』需要具备很多技能，这个比JAVA开发工程师这样相对单一技能来说，要复杂一点，所以，这个也是『数据分析师』缺的一个原因。
  • 另外，大数据火热的时间比较短，顶多3-5年左右。应届毕业生供求少，相应的从业人才比较少，又加上最近言必称数据，公司更是想尽办法跟大数据沾边，对于数据人才需求量大。尤其是互联网公司的发展太快，互联网公司对于数据人才的需求更大。储备少 VS 需求大，自然就有缺口了。
  • 目前数据分析的行情，不同的公司和职位有不同的情况，大概介于『运营、产品』和『开发』之间吧。

• 2）

  • 传统互联网公司我没有待过，不敢说了解。但是从我自己对于『数据分析师』的了解，我猜除了分析和研究的业务有不同，本质上没有差别。举个例子，A股是传统企业公司，美股是互联网公司，2个股市不一样，但是，作为一名投资者，对于『基本面』、『资金面』和『情绪面』的研究方法，逻辑推理，投资方法，我觉得是一样的，不会有差异。但是，涉及到具体的A股和美股不同的股市，具体操作的时候，会一些区别。古话说：万变不离其宗 。
  • 数据分析师日常工作，大概有如下的几方面（当然，各公司业务发展阶段不同，稍有差异），核心都是围绕『数据』，挖掘其价值：
    • 提供基础报表，满足基础需求
    • 分析业务和产品，提供业务运营和产品优化建议
    • 提供战略分析和战略性报告
    • 开发数据产品
  • 基本的工作是前三个，后面一个数据产品开发，主要是数据产品经理去做的，但是也不一定。可能是分析师提需求，其他人去做。

2，技能

问：

1）我目前比较熟悉 Python 的基础数据包（Numpy，Pandas，Matplotlib 等）和 Linux Shell，Keynote、AI、Ps 做报告展现也没啥问题，做过 5 年销售，一年风投经理，但数学和统计较弱，英语也一般，能找到合适的数据分析工作吗？

2） 数据分析从入门到进阶的路线是什么？核心技能是什么呢？至少要懂那些东西才能上手干活？

3） SQL 在数据分析工作很重要吗？常用的 SQL 工具有哪些呢？

4）数据挖掘和数据分析的区别是什么呢？做数据分析一定要懂数据挖掘吗？需要懂到什么程度呢？

<u>杜七『答』：</u>

• 1）『数据分析师』职位，也有初、中、高级的区分，比如你去阿里巴巴岗位搜索『数据分析师』，会有『数据分析师』，『数据分析专家』等区分，所以，要求不也有，对于求职者的技能要求也不一样。会Python，不是优势，反而你做过『一年风投精力』会给你的经历增色，为什么呢？一个好的数据分析师，一定是一个『商业分析家』，正确的定义问题，思考问题，找到解决办法，才是一名合格的分析师需要具备的技能。所以，你肯定可以找到一份数据分析的工作。
• 2）说到『从入门到进阶的路线』，我个人觉得没有一个明确和固定的路线，不像JAVA，从看《think in java》开始，到《如何治疗颈椎病》结束。每个人都会『分析』，都有想法，也都有自己的『看法』。不过，分析师需要具备的技能，看值得分析师新同学关注的“软技能”！这篇文章吧。这个是我自己的个人经验总结，期望对你有帮助。
  -3）SQL主要是用来做数据提取的。目前公司的数据，很多都放在数据库，比如MySQL，mangoDB，等等；如果是ODPS,HIVE，也是sql提取，所以，这种情况让别人觉得SQL很重要。其实，SQL也是一个技能。我们做数据分析，必须要把数据提取出来，这个是第一步。提取出来以后，再分析，是第二步。其实，在阿里巴巴这么高大上的公司，一个分析师会SQL+EXCEL+PPT，基本就可以把活干完了。相信么？ 所以，只要会SQL的基本语法，会写SQL代码，写个1W行，基本SQL就不是问题了。
• 4）数据分析和数据挖掘，广义的『数据分析』包括了数据挖掘，狭义的说呢，它们的目的一样，都是挖掘数据的价值，但是过程和方法不一样。『数据挖掘』偏重研究数据中的规律和模式，规律、模式一定要通过工具来挖掘；『数据分析』一般分析目标相对明确，从数据得到一些信息，不用那么深的规律的探讨。做数据分析，不一定非要懂那么多数据挖掘的算法，或者机器学习。当然，技多不压身，懂的东西越多越好。至于具体的一个『业务问题』的分析，一般不会涉及到复杂的『数据挖掘』，统计方法就够了。

3，其他

问：

• 1）这个书单和学习计划怎么样？ https://www.zhihu.com/question/29265587/answer/44010658

-2）会 Python 还需要学 R 吗？他们在做数据分析时各自的优劣是什么呢？

<u>杜七『答』：</u>

• 1）这个书单和计划，怎么说呢，挺完美。但是，要看完这些书，学会这些技术，消化掉，很难。之前值得分析师新同学关注的“软技能”！的文章里面我也推荐了一个书单，我觉得分析师的核心技能，还是『软技能』方面的，比如，正确定义问题，分析问题，找到问题的串联点，怎么样去解决问题，如何正确的思考问题，这些才是分析师的『核心技能』。所以，我特别赞同查理芒格说的一句话：『不要做一名股票分析家，而要做一名商业分析家』。分析师亦然。 我个人觉得完美的学习计划，不如这样。找一家公司的IPO报告，然后仔细的研究这个IPO的报告，研究这个公司的发展和变化，以及股票的变化，思考一些问题。用到了分析的软件，就去学习，学完了立马使用它去研究IPO报告，等等。这种方法，比看XX软件学习技能好多了。
• 2）Python和R，一把是倚天剑，一把是屠龙刀。两个都好。在高手那里，它们没有半点区别。不用纠结。精通一个就够用了。大部分的问题分析，用不到逻辑回归和机器学习。

4，总结

其实，朋友问的几个问题，基本涉及了『数据分析师』技能技能，工作内容，成长路线等等，这里简单再总结一下：

• 数据分析师，工作涉及到『数据提取』，『数据整理』，『数据分析』，『数据报告』等几个方面。
• 『数据提取』这块，目前SQL是必须要掌握的，上面也提到了。另外，有些时候可能也会用到爬虫，爬取一些数据；
• 『数据整理』这部分，python和R，二者取其一就够了。不多说。简单的数据，Excel就够用了。目前做数据分析师用Excel打天下的，估计有90%。
• 『数据分析』，这部分理解为『探索性数据分析』吧，比如做一些统计图，统计方法来分析一些问题，研究方差变化，等等。这个方面，『软技能』更需要，比如问题的定义，问题的分析，等等。当然，为了更大程度的挖掘信息，会用『数据挖掘』的方法，等等。从外界看，貌似会建模和挖掘，就高大上了，用excel就不高大上了。貌似巴菲特用电脑只会打桥牌，不会所谓的『股票挖掘和预测模型』，但是，不影响他是一个伟大的投资和理财家。想想他的投资理财的回报率，亲人们，你们不觉得你会excel就很牛了么？
• 『数据报告』，好了，前面所有的提取，整理，分析，都是过程，『报告』才是我们做这个数据分析的一个『结果』。如果它有意义，对别人有帮助，OK，我们做的工作有意义了。如果它不正确，更没有意义。前面的付出都是『一江春水向东流』，拜拜了。 大部分的报告，是PPT或者邮件形式。这部分，因为做个PPT不会特别复杂，大家都不关注。其实，它也是有很多技巧的。不展开了。
• 最后说一点东西，关于『数据分析师』，举一个巴菲特的例子。他不会挖掘算法，不会建模，但是他有一套自己的分析问题，解决问题的『模型框架』，他会自己去分析公司的财务数据，分析经济发展走势，等等。巴菲特，不是一个好的分析师么？ 相信大家明白『数据分析师』的核心技能是什么了。
• 晚安。