专访 | 吆喝科技CEO王晔：能做好A/B测试的都是「英雄」-CDA数据分析师官网

热线电话：13121318867

专访 | 吆喝科技CEO王晔：能做好A/B测试的都是「英雄」

2016-08-22

Exgoogler，谷歌帮，泛指出身于谷歌并最终走向创业的这么一批人。吆喝科技创始人王晔属于其中一员。不过，也许王晔不喜欢被定义，他更倾向于获得足够的影响力去定义某个领域。

吆喝科技CEO王晔

完成清华电子工程系的本科和硕士研究生课程之后，王晔赴耶鲁攻读计算机博士，随后进入Google。相对于那些进入华尔街的童鞋，热爱科研的王晔觉得进入谷歌还算幸运，这家有强大创新能力的公司让他接触了很多新技术，其中就包括A/B测试。

Google是A/B测试领域的先行者，其理念被广泛用于Google的产品策略。A/B测试是一种「先验」的实验体系，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计。

然而，即便是现在，A/B测试也属小众。尤其是随着移动通讯的发展，移动端产品成为A/B测试增长最快的领域，这也对A/B测试技术架构提出了更高的要求。「能做A/B测试的公司都是非常优秀的公司，但大部分企业对这个概念仍然很模糊」，王晔看来，目前仍然需要花费精力去培育市场。

但令他感到意外的是，国内企业对于A/B测试方法论的认可程度比较高。这给了王晔信心。2014年，他回国创办了吆喝科技。

他分析了目前国内A/B领域的现状：有能力自己完成A/B测试的企业很少，技术难度比较高，系统也很复杂，技术比较出色的公司，他们的技术团队常常会用A/B测试检测自己的算法，但很少有公司能上升到企业决策层面；目前大部分的企业还是把A/B测试用在核心技术层面，而在产品新功能、促销、推送等方面的A/B测试相对比较薄弱，数据统计科学性也会受到一定挑战。

知乎上有人问：为什么国内网站很少做 A/B 测试？目前获赞最多的回答里有这样一句话令人印象深刻：真正能扑上去用心做好（A/B测试）的公司，都可谓英雄。

另一个关于A/B测试的科普贴，引用其中一段文字：

从这段描述来看，掌握A/B测试不仅需要懂计算机、实验设计、假设检验，还需要数据的统计、运营、分析、挖掘，包括对业务的理解，才能把A/B测试做起来。

而吆喝科技开发的APPAdhoc则为A/B测试提供了一种更为「傻瓜」的可能性。

在吆喝科技的客户名单中，你可以看到乐动力、小红书等互联网小鲜肉，也有滴滴、中国移动这类巨头，甚至还有五粮液。王晔介绍，APPAdhoc非常通用，支持包括移动端的iOS、安卓的APP测试，也支持web、h5、后端系统、UI界面等测试，将来在通用解决方案的基础上，还会推出一些行业层面的SaaS方案，比如针对广告、金融等行业，平台界面将更场景化，功能更单一。

王晔认为，创造力，也许是A/B测试能够带给企业最珍贵的东西。

「A/B测试是一种企业决策的管理工具，不仅用于产品的优化迭代，还能用在运营、市场、传播推广等各种企业决策」，王晔说，「中国企业的领导是很累的，因为所有的决策都是——领导说了算」。

从某种程度上来说，A/B测试解放了领导，也解放了员工。A/B测试可以帮助部门尝试科学决策，也可以让员工有机会实践自己的创意，存在很多大胆尝试和创新的机会，看到更多的个人贡献。用王晔的方式来形容，你可以拥有一个人人都是「英雄」的团队。

------------我是访谈实录分割线-----------

预告：王晔先生将于9月3日-9月4日参加CDAS2016中国数据分析师行业峰会，届时将有更多精彩分享哦，敬请期待~

丨CDA：为什么离开Google选择自己创业？

王晔：Google确实很有创新性。但在移动互联网方面落后于Facebook，也落后于uber这些新型的公司。当时我在谷歌学到了很多新的技术，包括A/B测试，我就想怎样把他进一步发扬光大，产生更多的影响力和贡献。只留在谷歌是不够的，虽然我做的东西全世界都用，但毕竟只是在已有的基础上做点儿些微的调整。我觉得可以把大公司的技术和最佳实践带给更多的企业，让他们也能拥有像谷歌一样的创新能力。

创业和工作是两种不同的状态。大公司有许多规范、边界，每个人的贡献和影响力都受到一定的限制，好处是低风险好效率，有利于快速扩张。对于创业公司来说，每个人负担的责任很多，永远人手不够，所以我们需要很多「英雄」解决难题。

丨CDA：您觉得国内的创业环境如何？

王晔：我觉得中国的创业环境挺适合像我这样有海归背景的朋友。

一是，我们可能接触过相对先进的技术，触达过成熟的市场，这部分经验是很宝贵的。另外，国际化的视野也很重要，拿谷歌来讲，我们了解这类大公司之后，我们会借鉴他们的经验和教训，把他们的经验复制给我们的客户，未来就能少走一些坑。

另一方面，中国市场是一个得天独厚的市场，而我们离这个市场最近，知道他们需要什么，怎么服务好他们。而且中国支持和鼓励创业，给了很多政策支持，也有比较发达活跃的资本市场，中国的用户也已经习惯了技术的快速更新迭代，这种大环境给了创新者大量的机会，让大家勇于跳出框框，蕴藏着大量的机会。

国内A/B测试的市场比我们创业之初预期的要好，大家的接受程度还比较高，但是有很多人不了解或者模糊的了解，那对我们这种创业公司来说就是很好的机会，大企业没有耐性，我们倒可以比较积极地推进。

丨CDA：为什么企业需要A/B测试？

王晔：A/B测试其实是企业决策的管理工具。企业在产品层面、运营、市场层面有许多决策，这是一个有投入有产出的过程。比如说电商希望改进商品的展示方式，以此增加用户的下单率。假如说，我们认为只要把加「入购入车」的按钮换成「点击领取大奖」，就会刺激用户购买提高订单量，这个理论听上去很有道理。如果没有A/B测试，直接交付给工程师开发，直接上线，上线之后你会发现，当业务处于波动上升阶段，修改按钮的决策好像没有让曲线发生变化，你就不知道这个决策是提升了业务还是降低了业务，大部分企业都在做这种比较混沌的决策。

A/B测试就是科学的优化迭代的方法，在想法真正上线之前先通过一个科学的对比试验来判断它会成什么样的影响，直到足够好之后才会上线。

丨CDA：国内目前的A/B测试处于什么阶段？

王晔：有能力自己完成A/B测试的企业还不是太多，技术难度比较高，系统也很复杂，技术比较出色的公司，他们的技术团队常常会用A/B测试检测自己的算法，但上升到企业决策层面，很少有公司能够做到。

目前大部分的企业还是把A/B测试用在核心技术层面，但还是有很大的提升空间。另外，在产品新功能、促销、推送等方面的A/B测试相对比较薄弱，数据统计科学性也会受到一定挑战。

比如，一个游戏产品想要通过卖道具来赚钱，当然希望用户买的越多越好。于是你对1000名玩家做了一个实验，提供一个新道具，看会不会有人买的更多。测试发现，这一千个玩家果然买的比别人多，那么这一定说明你的新道具好吗？不一定，因为有可能你这1000名玩家里刚好圈中了一个王思聪那样的玩家，一个人顶10个，这样的实验结果就不是很可信。这就需要考虑怎样才能通过A/B测试判断出更接近真实的情况。

所以A/B测试的实验设计，系统的统计分析的准确性方面要求很高，这是我们能做的很精致的地方。我们的接口也非常的浅显易懂，通过可视化的界面可以让很多业务人员在做方方面面的决策时都能利用A/B测试。

丨CDA：当用户越来越多，吆喝科技如何满足不同用户的需求？

王晔：APPAdhoc支持包括移动端的iOS、安卓的APP测试，也可以支持web、h5、后端系统、UI界面、产品功能等测试，很通用，在各行各业都可以被实践。

它需要用户把这样一个通用的解决方案集成到他们的应用场景中，如果是APP或者电商网站、游戏等产品，集成就很常规，比较简单，也是我们主要的客户群体。对于一些比较复杂的后端系统就会要求更高，但还是比较容易落地的。将来，我们在通用解决方案的基础上，也会出一些行业层面的SaaS方案，比如广告、金融等行业，更傻瓜，更场景化，功能会更单一。

A/B测试不止可用于产品的优化迭代，也能帮助做出运营决策。举个栗子，中国移动希望通过APP他们希望鼓励大家购买流量，对此做了很多实验，其中一个实验很意外。他们做了一个新功能叫诈骗短信的识别，当你收到短信之后，你可以通过移动的APP进行检测。这个功能很有用，但我们也不知道它是否能实际提高用户使用的流量。

A/B测试帮到他们两点，一点是通过测试他们发现用户的购买量提升了8%左右，除了这个增长之外，还有一点很有意思，他们发现使用诈骗短信识别的用户还是很多的，但并不是所有的都能自动识别，有些需要人工甄别，需要客服人员支持。一开始这个功能上线的时候只推给了5%的用户做实验，只需要20个客服就能支撑业务量，当他推广到20%的时候，大概需要将近100人来支持，发布到全量的时候就需要几百人到上千人的客服团队。这样一个灰度发布的过程能够确保数据没有问题，运营得当之后再上线，降低了他的风险，给了他一个缓冲和逐步发展的过程，能够持续有效地保持增长。所以我们的A/B测试一方面从企业决策方面帮到了他们，另一方面在运营方面也提供了很好的工具。

丨CDA：能否给想要进入这个行业的小伙伴一些建议？

王晔：我们常说程序员工程师是公司的英雄，但其实运营人员、产品经理、业务人员也是英雄，前提是他们要会A/B测试，才是真正的增长黑客。建议可以读一读类似增长黑客的书，看一看增长黑客们在具体实战中是怎样通过自己的创意以及数据分析挖掘问题，提出优秀的解决方案。

A/B测试需要学习，但它是一个非常容易学习的事情，难的反倒是自己的业务知识，这件事情不是可以教的，需要自己摸索。当然A/B测试可以帮到你，帮助你更好地理解用户。

A/B测试也是和建模分析师中构建原始数据集和测试数据集同样的思维，想参加CDA LV II课程的同学欢迎移步至：