【猿团专访】|吆喝科技：用A/B测试降低迭代风险 让数据推动产品优化

他是清华大学的高材生，毕业后进入耶鲁大学继续深造；他曾在Google总部负责搜索广告产品的创新和研发，发表过多篇和计算机相关的科学论文，也拥有多项国际专利，担任过IEEE移动计算、GLOBECOM互联网协议与车辆技术评论家专家，也曾是2009对等网络国际研讨会、超现代化的通讯和控制系统2010、2011国际会议TPC。殊荣加身，他却毅然放弃美国的丰厚待遇回国创业，他就是北京吆喝科技创始人及CEO——王晔，也是我们猿团专访本期嘉宾。 以下为猿团记者专访内容，原创作品，如需转载请注明出处。 CCTV证券资讯频道《超越》栏目，王晔与主持人路一鸣合影 “推广一个能不断改善用户体验的技术，改善这个世界一点点。”这是王晔作为一个工程师的情怀。因为热爱，这位80后理工男一直致力于技术研发，也致力于为客户提供更好的体验。2014年10月，王晔创建了北京吆喝科技有限公司，其开发的AB测试云服务，用数据帮助企业优化产品与广告，是国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java等)AB测试服务的专业SaaS平台。 成立后不久，吆喝科技即获得国际顶级投资机构的投资，目前已拥有注册企业用户444家，月覆盖设备228,065,584个阶段数据，历史累计实验3034次，取得了辉煌战绩。 为什么会取名叫“吆喝”呢?在王晔看来，“吆喝”是一种文化，也非常需要技术含量。就像街头叫卖一样，吆喝能帮助企业传达信息，把企业产品卖得更好。同时，吆喝科技的取名也有个小插曲：创立初期，其主产品AppAdhoc A/B Testing中的“Adhoc”已被国外的企业注册，为了国内的名字更接地气，Adhoc翻译成汉语，谐音“吆喝”。 谈到吆喝科技的创立，王晔颇有感慨。当前在国内，A/B Testing算一个非常新颖的概念。采访中，王晔谈到，“当选择在新兴的领域创业，简直是自讨苦吃。”创业初期，自然是没少吃苦头，但好在靠着王晔对技术的执着和团队的支持，吆喝科技走到了现在。据悉，目前吆喝科技的团队有40多人，成员大多来自世界500强等企业，包括几十位工程师、运营、市场及客服人员，其中两位合伙创始人张毅飞和王冉分别对互联网精细运营以及移动营销有着多年经验，共同推动移动互联网进入全数据驱动产品优化的局面。 A/B测试 降低产品迭代风险，提升用户转化 AppAdhoc A/B Testing 是吆喝科技独立开发的一套以 A/B 测试为基础的数据优化平台。“顶级的 PM 也只能跑赢一半的 A/B 测试”，王晔希望通过引入 Google 全数据驱动产品优化的理念，用数据帮助研发团队做产品决策，避免无数据决策的产品风险，提升产品潜力。 那么，什么是A/B测试?王晔用简单通俗的话语解释了这个全新的概念：A/B测试是指在所有条件都相等的条件下，只改变一个条件，从A改成B，然后对比两者产生的效果的不同。 为什么要做A/B测试?举个例子，一家电商App最近成交量低下，为改善这种局面，团队想做一些调整，但怎么才能看出调整后的页面更好还是原来的页面更能促进销售量?这时候就可以接入吆喝科技的SDK，之后便能在AppAdhoc A/B Testing控制台创建很多“试验版本”，每个试验版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同试验版本的试验运行状态、流量分配以及查看详细的数据报告，并选择发布效果更好的试验版本。 假如这个电商App有100万在线用户，通过控制台可以控制这些用户看到不同的试验版本。假设其中50万用户看到左边版本，产生了10万购买;另外50万用户看到右边版本，产生了40万购买。这个试验数据说明右边版本产生的转化率更高，可以通过控制台将这个版本推广到所有100万用户。由此可见，A/B 测试更能提高工作的有效性，帮助企业提升用户转化，降低产品迭代风险。 前端+后端全面测试 用数据做产品决策 AppAdhoc A/B Testing能为用户提供产品前段及后端的全面测试。前端方面，通过改变用户可用肉眼感知的内容进行试验，比如改变产品UI、页面布局和文案内容，小到图片配文和按钮文字，大到文章标题甚至布局的改变，都可以测试不同方案的数据效果。其次是产品后端的测试，即对用户视觉感知之外的内容进行测试。这部分主要集中在对产品新功能，以及推荐算法的测试。很多用户可能面临着这样的难题，想给产品增加一个新功能，可是很难确定是否能达到用户的预期，如果盲目上线，极有可能会造成一些损失。使用A/B 测试，能做到对用户真正负责，提高用户粘性。以音乐电台产品为例，增加某些新的设置，用更加精准的推荐算法可以让用户感到惊喜，并自发为你传播。 A/B 测试使用时的注意事项 为保证试验流量分割的科学性和试验结果的准确性，吆喝科技使用学习算法将APP用户按照日常行为进行分组，保证X%的试验流量(B)具有代表性，与(100-X)%的主流量(A)有可比性。 AppAdhoc A/B Testing支持多个试验并行运行，也支持多个试验重叠运行，可同时看到多个版本的对比效果。对于试验结果，吆喝科技采用Hadoop实现统计学的算法来处理数据，分析对比试验流量与主流量的结果数据，保证对比结果的置信区间。 值得注意的是，王晔指出，A/B测试应该从小的改动做起，而不是大的改动。首先，当发生大改动时，可能用户群体已经发生变化;其次，改动过得反而不利于判断结果，比如一个界面改动了5处，提高了10%的销售点，那这10%的提升究竟是来自于5个改动中的哪一个呢?由此可见，大的改动并不利于A/B测试。 此外，企业如果想要获得一个可信度较高的A/B 测试结果，试验时间要运行充足，并且保证用户有一定量级。公司的日活最好能够保证大于1000，否则进行可信A/B 测试是比较困难的。对于用户量较大的产品(月活上千万)，AppAdhoc A/B Testing同样可以提供试验支持。但为保证试验的顺利进行，最好还是在正式上线前与吆喝科技的工作人员联系沟通。 采访时我们不难发现，王晔对A/B测试具有非常深刻的理解，他表示，目前吆喝科技的重点是对AppAdhoc A/B Testing优化引擎的不断改进，包括建设更加强健的后端集群，实现支持日活数十亿用户，同时针对不同用户群体，增强用户体验功能，通过机器学习给客户提供自动优化的建议。此外，针对非深度开发者的移动营销人员，吆喝科技推出了一个所见即所得的HTML5营销页面优化平台，可以方便营销人员不做代码改动就实现各种各样的A/B测试，不断优化移动营销的效果。 未来，吆喝科技将与更多企业一起，用A/B测试驱动产品优化，降低产品迭代风险，提升转化、留存和你想要的一切。 如果你也有一个创业梦，欢迎关注【猿团专访】，了解每个CEO背后的故事，或者创投信息;如果您创业成功，想与我们一起分享创业故事，预约CEO专访，欢迎发送CEO简介或公司简介至邮箱：liuqiying@yuantuan.com。 (文章来源：猿团 www.yuantuan.com作者：瘦司)

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/