热的发烫的“大数据中台”是怎样炼成的?

今日直播推荐：

扫码立即报名

往期回顾：

易观 CTO 郭炜分享的《如何建设大数据中台》广受关注，特地为大家整理成了图文版方便阅读。

此次分享主要涉及三方面：为什么要建立大数据中台，技术大数据中台建立参考模式与思考，及在大中台，小前台场景下技术人员该做些什么。

<iframe class="video_iframe rich_pages" data-vidtype="1" data-cover="http%3A%2F%2Fshp.qpic.cn%2Fqqvideo_ori%2F0%2Fe3017ha5kl6_496_280%2F0" allowfullscreen="" frameborder="0" data-ratio="1.7777777777777777" data-w="864" data-src="https://v.qq.com/iframe/preview.html?width=500&height=375&auto=0&vid=e3017ha5kl6"></iframe>

1

为什么要建立大数据中台

现在乃至未来，绝大部分企业会陆续成为数据企业，数字用户资产会成为这些企业的核心资产，人工智能、大数据等前沿技术也将会成为基础设施，促进每个企业的业务用户、业务线快速增长。

其实，大数据中台就是企业从传统信息化到数字化演进过程中的必然产物。

中台是技术人员从后台走向前台的过渡阶段，为什么这样说？如下图所示，以投资银行举例。

如把投资银行对前台、中台、后台的定义映射到互联网或系统，可以简单理解为前台是赚钱的、后台是做支持赚钱的，而中台是支持更快赚钱的。

建设大数据中台的本质在于把过去在后台的工作挪到中台，进一步支持前台更高效的做数据分析。

大数据平台风行，为什么又需要建设大数据中台呢？这是因为建设大数据平台时有各种各样的痛点，这里主要介绍如下三点：

• 大数据项目启动难：大数据平台建设周期长，成本高、人员互联网运营经验不足。

• 大数据项目效果体现难：大数据如何解决互联网运营问题、大数据系统建设结果是更多的 BI 报表、大数据建设 ROI 无法衡量。

• 大数据项目执行难：数据源纷繁复杂、原有系统涉及到多部门协调沟通、以及数据治理问题。

整个大数据平台依次从数据接入、计算、分析、运营，每一层都有各种各样的模块具体运作流程，如下图：

面对这样一个典型的大数据平台结构，怎样做才能提高效率呢？这里有以下五点思考。

1. 让业务还给业务，尽可能避免业务人员等待技术反馈需求单这样耗时的流程。

2. 做到实时数据分析，满足运营人员的需求。

3. 能够更好支持人工智能或增强智能所涵盖的流行算法。

4. 数据治理要在业务端进行，而不是在技术端进行梳理。

5. 让业务人员、数据科学家直接看到反馈，而不是传统软件加工方式。

从大数据平台到数据中台是一次从技术到业务的飞跃，过去我们只看技术，到中台时期，是从业务端看技术。

2

技术大数据中台建立参考模式与思考

大数据中台大致可分为大中台和深中台两种模式，如下图：

类 BAT 的大数据中台称之为大中台，是更广泛的数据中台，底层布设 LaaS 、PaaS，各个业务线在基础之上进行二次开发。

但对于小厂而言，并没有那么多人力开发通用中台去支撑各个业务线，只能是各业务线围绕自身需求进行开发，这种情况被称之为深中台。

说到深中台模式，这里需要提及的是数据河理论。那什么是数据河理论呢？

数据河理论是相对于数据湖而来，数据湖是把过去各渠道的所有数据集中到一起，为相关计算提供便捷，但久而久之，会慢慢变成数据沼泽，数据运营越来越难。

数据河的出现是为了方便数据运营，使得失去数据口径和失去数据治理的数据越来越少。

数据河中流淌着的是单一数据模型，数据产生直接实时流向使用者，不同的数据河，支撑起企业内部数据水生态。

深中台模式其实也是数据河模式，让数据直接流动起来。

数据河这个抽象的概念可以落实到 IOTA 架构，如下图：

IOTA 是典型的去 ETL 化深中台架构，有固定数据模型、在数据产生时规整原子口径，把业务口径交还给业务人员，且支持边缘计算与即时反馈。

如下图，为易观 ARGO-免费用户数据中台样例的结构：

在这个易观 ARGO-免费用户数据中台样例中，对免费&非核心部分进行开源，支持私有化部署、用户账号跨端打通、实时复杂计算和下钻分析、二次开发。

和 IOTA 架构一样，也是在数据产生时有技术人员规整原子口径，通过自定义指标实时查询，把业务口径交还给业务人员。

3

在大中台，小前台场景下技术人员该做些什么

大家会有疑问，数据中台盛行，从事数据相关岗位的人，如大数据工程师、数据分析师等他们的风向在哪里？

数据中台的出现，实现人员的技术业务结合与飞跃，让数据技术人员不仅增加数据技术广度，还加强了对前台业务理解，成为跨领域的“龙”式新物种—数据中台工程师。

数据中台工程师必备基础技能主要有三，分别是：商业模式、流量模式和数据分析体系。

商业模式包含注意力运营、交易类运营和效益类运营。

注意力运营，这类产品都是试图最大化用户在产品上花费的时间，如媒体、游戏以及任何通过广告变现的产品。

关注指标是粘性，如 UV、PV、访问时长、访问频次、用户到访周期、访问间隔等。

交易类运营，这类产品帮助用户做出购买决定，如：电子商务平台、各种交易平台、生活服务、SaaS 等。关注指标是交易、交易活跃度，如新商品比例、商品被搜索比例、GMV、ARPU。

效率类运营，这类产品帮助用户创建了一种简单可靠的方式来完成现有的任务或工作流程，如：工具类、B2B 等。

关注指标是用户使用深度指标，如用户完成一次工作流的数量、用户完成一次工作流的时间。

如下图，为数据中台工程师必备技能之流量模式：

当我们分析某个网站时，可以遵循此图，横轴是变现能力，纵轴是导流能力，存在各种不同的角色。一般来讲，金融类变现能力强，玩类导流能力强，出行类导流能力强。

如下图，为数据中台工程师必备技能之数据分析体系：

每一个产品从开始 MVP 验证有效、获取种子用户、提升产品质量、提升用户体验、拉新获客实现营收，及规模化实现利润最大化，在每个阶段，都需要进行分析，如用户分析，参与度分析，渠道分析，构成分析，收入分析等。

而每个阶段都需要一套分析体系，对业务进行研究，所以技术人员需要补充数据分析能力和数据分析体系相关知识。

在新数据中台情况下，迭代验证周期是数小时到数天的迭代周期，技术人员只需要建立原子口径，由业务人员做实时业务数据分析，支持业务分析。

建设数据中台前需要思考这几步骤：第一是和技术/业务主管商议是否真的需要中台；第二是中台模式选择，是深中台还是浅中台；第三是数据中台选择，无论做哪种选择最终的结果一定是让业务人员可以直接进行相关数据分析，把业务还给业务，让技术做技术；第四是人员和思路的变革。