
如何组建一支优秀的数据分析团队?_数据分析师
Q:数据分析人员能做什么?
A:从纷繁的数据里提炼出有价值的信息并给公司提供支持啊。
Q:你怎么提炼啊?
A:写程序采集啊,清洗啊,用一定的算法计算数据内部联系,根据业务做出判断啊……
Q:如果都是用已有的算法,这些事情为什么不能用现成的流程来做呢?或者为什么不能写成程序,让机器自己实现呢?
A:呃…………
作为一名数据分析师,刚入行的时候跟人聊天聊成这样,非常常见也非常令人不爽。但我们数据分析师是不是仅能手工操作一些算法,等着机器和算法逐步取代我们么?并不是!
照例观点先行:数据分析不等于数据分析算法/程序,数据分析算法/程序只是分析师手中的工具,数据分析要取得成功必须依赖人的力量,数据分析师的作用在于根据对业务的理解,合理使用分析工具,完成分析目标。
结合业务的数据分析才是科学的,一切只看计算机输出结果不考虑业务实际情况的数据分析都是无(shua)用(liu)功(mang)。计算机能实现的算法也好,程序也好,只是数据分析中的一部分;如何选择分析切入点,如何选择数据来源,如何确定算法,如何解读结论,这些机器统统做不了,需要我们数据分析师来解决。
观点在上边两段里已经充分展示了,接下来我要愉快的展(che)开(dan)观点内容了:
数据分析通常包括几个阶段:提出/发现问题——获取并清洗数据——建模——调整优化——输出结论。
这是一个闭环流程,每一步都需要人工参与,程序会参与中间三步,算法在建模中会用到,而数据分析的最重要两步,问题和结论,目前是不可能完全交给计算机去处理的(其实我个人认为这两步在真正的人工智能出现前,绝不可能由计算机自动处理),因此数据分析人员最大的优势,就是“经验”,也就是业务理解能力和数据分析经验。
详细解释一下数据分析的几个阶段:
提出/发现问题阶段:
大多数时候,数据分析都是为了解决一个问题(锁定某个产品的目标客户,对同样的人群做营销活动用A方案好还是B方案好,等等),或者验证一个猜想(不让旅游者上班高峰坐地铁是不是会大幅度缓解拥挤现象,啤酒和尿布放一起是不是真的会提升啤酒的销售额,等等),总之需要达到一个目标。即使是探索性分析(拿着一大堆数据看看能不能找出点什么结论),那也需要先预设一个或多个目标作为切入点,然后在探索过程中逐步修正。
提出和发现问题的过程,交给计算机干不太靠谱,首先计算机不会提出问题(因为笨),其次计算机能发现的问题也一定是人已经发现了的问题(还是因为笨),需要先有人来设定规则,然后计算机才能根据规则发现问题。而数据分析师,就是设定规则的人。
目标和规则的设定,一定要基于业务,这样分析结果才有用,否则会得出正确但无用的结论。举个栗子,订阅报纸的数据扔给计算机去分析关联关系,看有哪些报纸可以进行组合促销,最后得出个光明日报和人民日报关联系数90%多,所以这俩报纸可以组合起来卖,问题是这俩报纸本来就是要求党政机关订阅的党报,组合起来毫无意义,该订的还是要订,不订的还是不订,这就是典型的正确但无用的分析结果。懂业务能让分析师少做这种无用功,但是计算机要想懂业务就得由人来教,教还不一定能教会,教完了又不能触类旁通(报纸的关联算法拿到电商去完全不能用啊),这样的计算机永远都不如分析师懂业务。
获取并清洗数据:
这个阶段计算机参与的较多,分析师的工作是指出拿什么数据,拿哪些字段,数据获取到以后用哪些规则进行清洗整理。如果数据源不变,需要重复或定期进行分析时,这个阶段的规则可以固化,由计算机来自动执行,但规则仍然是由分析师来制定的。
建模、调整优化:
这两个阶段中,分析算法出场了,描述分析、关联分析、回归、分类、聚类、时间序列,每个类别里都有一大堆的固定算法,分析师不能通过手算得出结论,需要借助封装好算法的分析工具(图形化的SPSS,命令行方式的R,等等),看来这一阶段计算机要超越分析师了!
等等,建模哪有这么简单,计算机解决不了的问题一大堆呢:什么时候用哪个类别的算法(该做分类还是聚类),同一类别不同算法哪个更适合当前情况(K-means还是两步聚类,这是个问题),同一个算法怎么调整参数能使效果更好(到底该把用户聚成几类呢),算法输出的结果是否正常(有一部分数据出了问题导致分析结果出现偏差)等等。这些问题计算机统统不知道耶,需要分析师来告诉它该做什么事。
打个比方,数据分析就是打仗,算法是机枪、大炮、坦克等等技术兵器,分析师是士兵、炮手、驾驶员(操纵者),不能因为士兵自己不能一分钟吐出几百发子弹或者炮手自己不能一下子拆掉一个碉堡,就让机枪大炮坦克把操纵者扔下,自己上阵去打仗……就算是无人机,那也得有个拿遥控器的驾驶员蹲在办公室里操作啊……
算法始终只是工具,数据分析效果如何还是要看用工具的分析师功力如何。一个做过几十个分析项目的分析师,功力通常来说比刚入行的分析师或者纯开发人员要深厚一些(极少数天赋异禀的不算……),选算法调参数建模型的能力更强一些,分析出来的结果也会相对靠谱一些——没错,经验在这两个阶段就是优势。
输出结论:
这一阶段计算机的工作已经基本完成了,对模型输出的数据进行解读,那完全是分析师的天下——同一份数据给不同的分析师,可能会得出不同的结论,很多时候分析师并不单单根据数据本身得出结论,还要结合很多外界因素来修正结论。分析师的经验越丰富,拥有的有效信息量越多,得出的结论就越接近事实(之所以用接近,是因为对数据解读的准确度永远达不到100%,影响结果的因素太多了,比如一个企业销售额连续增长10年,分析师根据公司数据和市场情况判断下一年还会继续增长,结果老板出事跑路了,企业直接倒闭),而这个过程是计算机目前没办法自主进行的,商业智能系统做的再好,也需要由分析师来设定规则,告诉计算机在什么时间需要做什么。
也许随着大数据和人工智能的发展,有一天计算机可以完全不依赖人工设定的规则(不需要确定数据来源,不需要选择算法和模型,不需要人工干预来修正模型,等等),自己对数据进行全方位的分析,加入所有因素的影响,并输出准确度非常高的报告,只有到那时候,分析师才会失业啊。
不过,真到了那一天,恐怕不光是分析师失业的问题吧……
一个成功的数据分析团队:角色与职责
多年以来我和数百家企业打过交道,在这个过程中,我领悟了让数据分析项目成功的一些因素,也亲眼看着很多项目失败。
最常见的失败原因说出来可能会让你惊讶。并非是缺乏数据专业知识或者整合失误,而仅仅是因为企业没有让“利用数据”成为任何人员的职责。太多公司花费好几个月收集有趣的数据,然后让它们静静地躺在角落里积攒灰尘。这个现象驱使我来撰写本文,希望它能给你灵感,让你为下一个分析项目增加一些结构性。 对分析的应用,本应该成为你不断汲取的商业泉源。【CDA数据分析师培训】欢迎您的到来!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11