财新传媒
位置:博客 > 秦华 > 360行:大数据时代下的数据分析师

360行:大数据时代下的数据分析师

Lily写在前面:在大数据的推动下,数据分析师是在中美都比较热门的职业方向。从事这个职业的人很多来自理工科背景,也有不少是来自人文学科背景的。感谢四位分别在中国和美国从事数据分析工作的成长部落伙伴们为大家详细描述他们对这个职业的所知所想,希望能帮助到对这个职业方向感兴趣的朋友们。
Franki Chamaki on Unsplash
 
王晨薇(Sherry),欢迎关注她的Medium账号,查看更多数据科学相关文章:
 
https://medium.com/@sherry.wang531
 
我在美国做数据科学家(data scientist)六年。这个职位很新,我找工作的时候,大多公司并没有这个职位,但近几年越来越火,现在几乎每个公司都有了数据科学家的职位。
 
大概因为这是一个很新的行业,所以对职能的定位一度很不清晰,不同公司的“数据科学家”可能做的是完全不同的事情。经过这几年的发展,市面上的数据科学家主要有三类,要求的能力也有所不同:
 
一类偏向做数据分析或是产品分析(data analysis/product analytics),主要负责设计实验(如A/B测试)和合理的评价指标来测试产品表现,通过数据分析来发现产品潜在问题或潜力。这需要基本统计学知识,对商业的思考要求比较高。
 
一类偏向建模,通常通过分析大量数据或非结构化数据(比如文字数据、图像数据)建立预测模型来帮助企业作出更好的决策或是使得产品更加好用,比如房价预测可以帮助投资公司做出投资决策,推荐系统可以帮助用户更容易地发现相关内容。这需要比较扎实的统计知识和代码能力,也需要能够将商业问题转化为建模问题的能力。
 
还有一类偏向编程,在很多公司叫做机器学习工程师或算法工程师,他们负责模型部署和相关架构实现,以确保机器学习模型在生产环境中可以高效运行。这对编程能力、设置架构能力要求很高,也需要了解一些机器学习的知识。
 
做数据分析或是产品分析的背景各不相同,商科或是统计相关,本科或是硕士以上都有。而偏算法和工程的岗位主要是统计、计算机、数学、物理专业的毕业生,大多公司要求硕士或以上。然而由于这个行业特别火爆,各类网课和训练营层出不穷,网上的学习资源也非常丰富;同时这个行业实用性比较强,很多雇佣单位尤其是中小企业更看中能力而非学历,给专业不对口但自学的同学很大转行的可能性。
 
这个行业薪酬很高,但压力也很大。主要压力来自于行业发展太快,因此在忙碌的工作之余必须不断地学习,不然很容易被淘汰,尤其是做算法或是工程相关的。对于喜欢挑战、乐于不断尝试学习新知识的人来说,这是个很有趣的职业。由于行业比较新,数据科学家这一行还没有很清晰的职业路径,这既是机遇也是挑战。
 
我自己大学学的是行政管理,在国内一家消费者研究公司做了一年定性分析,主要负责主持消费者座谈来了解人们对品牌的理解,帮助品牌定位。后来到美国继续学习市场专业,但发现英文座谈实在谈不来,担心找不到工作,就转到了市场分析(marketing analytics)专业,想着至少可以找到传统偏商业的数据分析岗位。
 
转专业之后上了人生的第一堂编程课,结果做作业时意外经历了心流,于是决定自学机器学习和编程,尝试申请机器学习相关工作,计划学习几年再转更算法的岗位。但出乎意料地拿到了一家创业公司machine learning modeler的工作,从此走上心仪的岗位。
 
缺乏理工背景确实是硬伤,这意味着在理解某些算法或代码设计时我需要花更多的时间。即使已经工作了六年,我跟行业大牛的差距也还是很大,自己需要持续花大量时间学习,这可能是每一个转行的人都会有的挑战。但能够在工作中写代码、以及看到自己的模型有效(比如广告点击人数提高)也会带来特别多的成就感。
 
同时,作为一个能从商业角度想问题的技术人员,自己有独特的优势。因为这意味着我不仅能够回答封闭式的问题,比如“建一个模型预测下个月哪些客户可能取消我们的服务”,同时也能回答开放性的问题,比如“机器学习能够怎样帮助我们提高下个月的销售业绩”,这可能是转行者们的优势。
 
闻哥
 
我本科的专业是社会科学,读了一年的商业分析硕士后,在美国一家家居零售电商的营销部门做数据分析,负责消费者定制广告背后的建模。
 
我们经常会在浏览网站时,在信息流中看到跳出的广告。这个广告并不是随机出现的,而是广告主预测用户需求和对产品的喜好后,针对用户定制并投放的个性化广告。一个广告展示的背后有一整套流程:
 
收集数据:将公司内部的行为记录(消费、浏览网站)与外部购买来的顾客信息(年龄、性别、收入、地域)通过个人信息对应,形成一条条完整的用户数据。
 
建模预测需求:以用户数据(比如人口学和消费记录)建模,预测用户在某一时间段对某一产品的购买概率。
 
确定营销策略:根据模型得出的购买概率,决定对多少/哪些用户投放什么样的广告,以达到购买转化或是增强品牌意识等目标。有另外的内容团队制作广告内容。
 
上传和投放:将选定的目标用户信息上传到广告平台,平台通过竞价等形式最终决定投放价格并投放给目标用户。
 
监测并分析投放效果。
 
我主要做的是2。具体工作中,一半的时间在规划、开会、写邮件,理解业务需要并将业务问题转化为数据问题,理清需要的数据、合适的模型、项目目标、项目时间线、并向公司内部客户解释,用通俗的话讲明白技术和数据概念。另一半的时间,便是调取、清理、分析数据、建模、测试、应用的“Hands-on”工作,并循环这一流程。其间需要用到SQL、Python、Tableau等数据读取、处理、和展示工具。还有Excel和PPT,虽然听上去没那么先进,却必不可少。
 
数据分析师是一个初/中阶职位,后面一部分人会选择管理路线(分析经理),另一部分会继续做个人贡献者(数据科学家)。但数据科学行业还很新,有这样明确的职业生涯规划的公司还不是很多。另外,专注于算法的数据科学家大多需要博士学位,门槛较高。所以,渐渐会看到许多的数据分析师/科学家,要么深挖技术,成为机器学习、数据、软件工程师,要么转向业务,成为营销经理、产品经理。这个行业的职业发展也在不停的“test and learn”中摸索着。
 
我在做了近三年的数据分析/科学后,现在在考虑转产品经理(或数据产品经理)。相比于把大量的时间用在和数据“搏斗”、作为一个流程的一部分,我更喜欢去想象、规划、沟通、决策,接触一个项目的方方面面。除个人兴趣外,数据部门也有缺少ownership、决策不清晰、难以获取成果和成就感的问题。许多公司的决策权掌握在业务部门手里,数据是参考和辅助。与其期待着数据部门成为公司大脑,不如进入业务部门,有更多的ownership,用数据思维和能力帮助自己更好地工作。
 
当然,每个职业都有利有弊。数据分析比产品经理的技术门槛高一些、可替代性低一些,同级别的基础工资也就高一些。此外,一个团队,只需要一个产品经理在中间把握方向和协调,但也许有3个数据分析师调数据,5个工程师写代码(或更多)。数据分析具体负责一部分,而产品要统筹全局,工作压力可能会更大,竞争更激烈。选择什么,每个人有自己的取舍标准。
 
阿明
 
1. 数据分析师的类别有哪些?
 
在不同的公司,岗位名称可能有所不同,比如数据分析师、数据科学家、商业分析师。从总体的工作聚焦点上来讲,从“偏商业”到“偏技术”这一整条波谱上都有。可以说,偏商业这头,解决更多不确定性的问题:其中数据是为判断提供了一部分来源,更多的是经验、研究、思考;偏技术这头,解决更多确定性的问题:数据是主要判断来源,更多是如何设计实验、解读数据。
 
具体来说,偏商业可能就是像麦肯锡的战略决策分析(参见麦肯锡官网的报告),结合内外部数据,对一个行业、一种商业模式进行研究、判断,给出建议。偏技术的话,就是针对一个已知的问题,给出最优解,简单的比如AB测试,通过数据分析,我们发现黄色的产品外观比红色的产品外观响应率提升了两个点,所以建议之后都采用黄色的产品外观;复杂的比如我们有1000万客户,但是预算有限,应该在这次营销中选取哪些将来会带给我们更高价值的客户进行投放,效果如何?
 
不同公司所招聘的岗位都是这个波谱中的一个结合。
 
2. 客户是谁?解决什么问题?
 
客户是业务方,运营/产品为主。越偏商业的话,客户可以达到的层级越高,做得好的话,就是CEO大脑。当然不是所有的CEO 都有数据化思维或者喜欢逻辑推演,有些偏商务的/营销的领导,可能需要不断地影响其思维方式。
 
解决的问题是,试图在不确定的世界寻找一些确定性、指向性的过程。
 
验证:通过独立思考,验证了业务侧的一些想法
 
归纳:通过一些散点,总结了一些规律
 
发现:发现了一些之前大家不知道的趋势,给出了接下来的建议
 
3. 这个职业的上游/依赖项是什么?
 
把数据分析做好的关键是有足够的信息,依赖于上游的数据。如果使用外部数据的话,需要采买,有稳定的来源;内部数据的话,比较关键、最小化要求是有数据,且有计算资源,最好是归类、容易寻找。
 
采集:需要公司数字化较高,对于关键节点的数据有所采集
 
存储/计算:已采集的数据需要被存储并提供相应的足够的计算资源供给
 
中间层:没有处理的数据就像没有被摆放好的货架,水果蔬菜肉都参杂在一起,要取出任何东西,都要很困难地寻找,中间层/应用层就是让这些物品归类的一个过程
 
互联网公司整体速度偏快,所以有时候自己会需要推动数据生成和中间层。
 
4. 需要什么技能?
 
硬技能:
 
SQL、PYTHON 取数工具的使用 、搜索研究,获取外部数据
 
excel、算法平台 消化解读数据
 
ppt、word 结构化/系统化的思考、推演和呈现
 
软技能:
 
开放心态,愿意学习新事物
 
在绝对公平和相对的“屁股决定脑袋”中取得平衡
 
抓住重点、自主排列优先级、时间管理
 
产品sense:熟悉产品,能提出令人眼前一亮的改进点
 
5. 有什么高光时刻和低谷时刻?
 
高光时刻:用数据发现了一些趋势、真正感到输出了价值。
 
低谷时刻:没有找到优先级、方向,被动地工作。
 
6. 岗位有什么不可替代性?
 
对于商业型数据分析师:随着整个行业建立起越发透明的、集中的数据平台,普罗大众获取数据的门槛会降低,分析师的“搜寻数据”这方面的优势可能会被削弱。
 
对于技术型数据分析师:随着实验平台越发健全,比如A/B测试平台,分析师的“实验设计”方面的优势会被削弱。
 
数据分析师在硬技能达到一定高度后,还是应该注重软实力的提升。
 
莫非
 
我的数据分析师职业生涯可以分为三大段历程,也正好是一个数据分析师的成长经历:
 
1.一家国际商业银行零售业务的数据库营销分析师
 
整个team的工作就是配合香港分行的零售业务部门,对零售客户留下来的数据进行分析。按照业务的不同维度对客户细分,以针对不同的细分客户进行精准的营销策略和销售推荐。
 
每个月开头,都会和业务部门开会,计划这个月的数据库营销活动有哪些,谁执行跟进,目标是什么。比如我们有一类“信用卡短期资金需求客户”,即每个月信用卡还款日都资金周转困难(这个需求其实可以从数据里发现,比如发现客户同时有多个银行信用卡,是一个小企业老板,经常会使用信用卡最低还款额),同时通过对过往信用记录分析,觉得是个有信用的客户,那就会给他推一款短期的随借随还的贷款。
 
我那时候刚开始工作不久,只是负责数据提取和营销名单生成环节。这些工作其实每个月都基本固定了,你只要按照流程和规则,执行相关脚本,并生成营销名单,发给销售部门用户就行。这个时期基本都不太了解整个工作,就是一个执行工具。现在回想就相当于数据工程师,只负责数据查询、提取和固定报告生成,根本没有什么分析。但后来发现,当你刚开始做数据分析,还只是这个大公司里面的一个螺丝钉,每天只是机械工作的时候,一定要学会自我学习,去了解你工作上下游的关系,以及所用数据背后的业务含义才是最重要的。
 
2.一家大型咨询公司的咨询顾问,专注于帮助金融机构进行数据分析驱动的精准营销的业务转型
 
那时,正好赶上国内银行开始也学习国际银行,进行数据分析驱动精细化运营的转型,我到了咨询公司,做了很多个类似的银行转型项目,才了解了数据分析师工作的全貌。下图便是数据分析师的完整工作流程:
 
明确业务问题和目标 —> 确定分析思路 —> 数据指标设计 —> 数据准备 —> 数据分析挖掘 —> 数据分析结果可视化 —> 报告撰写
 
这时候才明白,数据分析师其实就是一个能把一个业务问题转化为一个数据问题的角色。所以我必须得了解业务,了解为什么而分析,把业务背后的场景了解清楚,你才不会迷失在数据海洋里。
 
同时,你也得熟悉企业里有哪些数据可以分析,然后去构建你的分析思路,最后通过构建数据指标,并通过分析找到那个业务需要的答案。
 
数据分析师的价值就是在数据海洋里找到对业务决策有帮助的价值信息。特别是一家大企业,业务场景可谓千变万化,而且客户量大了之后,光靠人来管理就效率低下了。决策者必须及时了解企业发生了什么、为什么,从而快速决策。比如:业绩下滑了还是上升了,自己的客户都是些什么人,他可能会喜欢哪些产品,或者预测哪些客户会赖账,等等。
 
3.创业者,把数据分析变成一个产品
 
现在我在一家创业公司,做一些2B的数据产品,帮助企业进行数字化转型。其实就是把第二阶段的工作,变成一个产品来卖。工作内容大同小异,多了一些项目管理和产品设计的东西。
 
说了这么多,我都没有说这份工作的相关技能。其实是因为现在网上已经有太多相关的数据分析技能的介绍和培训了,但往往忽略了分析的本质和目的,即是分析数据规律,解决一个业务问题。业务问题不同导致你的数据分析思路和数据指标构建都不同。所以,其实技能大家只要花点时间就会了,但行业知识和业务知识,才是你的上限。
 
当然,如果分析过程要用到一些机器学习,或者要做数据科学家或者叫数据挖掘工程师,或者叫算法工程师,要专注于机器学习算法类的工作,那就必须补很多数学相关的知识。这些资料网上也是相当的多。



推荐 61