PPT：美团点评数据平台融合实践 项目推进经验及技术突破

PPT来源ArchSummit全球架构师峰会2017

美团点评两家公司合并以来，经历了组织架构融合、线上业务融合、数据与基础设施融合的三个大阶段。

本次分享主要介绍第三阶段，美团点评整个数据平台融合的项目推进经验，以及相关技术突破，期望能对于有大的数据平台技术产品重构或底层技术架构调整需求的架构师进行参考。

平台项目分为三个阶段：

数据流打通；

离线集群透明迁移融合；

工具链产品融合与业务任务切分。

融合之前，我们有异地双机房共4k节点，涉及万级别任务迁移与自动改写，整个融合过程持续提供数据生产与应用服务，要求对业务透明。

本次分享除了对于项目整体计划与实施的讨论，也会会涵盖 Hadoop 集群认证打通、Hadoop 多机房架构改造、大面积 SQL 任务重构的自动化方法等核心技术点的详细架构介绍。

其中，Hadoop 集群认证打通我们使用 Kerberos 跨域认证方案，Hadoop 多机房方案我们通过新增 Zone Tunnel 模块，操作 HDFS 文件块的分布，做到了集群的平滑迁移。

在 SQL 任务自动重构的场景下, 我们自研了一个 Hive 表映射的方案，使得任务的修改可以并行化，无需双写，也无需分层迁移，大大的提高了重构效率。

下面是详细的PPT：

 End 

阅读排行榜/精华推荐

1

入门学习

如果有人质疑大数据？不妨把这两个视频转给他 

视频：大数据到底是什么 都说干大数据挣钱 1分钟告诉你都在干什么

人人都需要知道 关于大数据最常见的10个问题

2

进阶修炼

从底层到应用，那些数据人的必备技能

如何高效地学好 R?

一个程序员怎样才算精通Python？

3

数据源爬取/收集

排名前50的开源Web爬虫用于数据挖掘

33款可用来抓数据的开源爬虫软件工具

在中国我们如何收集数据？全球数据收集大教程

4

干货教程

PPT：数据可视化，到底该用什么软件来展示数据？

干货｜电信运营商数据价值跨行业运营的现状与思考

大数据分析的集中化之路 建设银行大数据应用实践PPT

【实战PPT】看工商银行如何利用大数据洞察客户心声？              

六步，让你用Excel做出强大漂亮的数据地图

 数据商业的崛起 解密中国大数据第一股——国双

双11剁手幕后的阿里“黑科技” OceanBase/金融云架构/ODPS/dataV

金融行业大数据用户画像实践

“讲述大数据在金融、电信、工业、商业、电子商务、网络游戏、移动互联网等多个领域的应用，以中立、客观、专业、可信赖的态度，多层次、多维度地影响着最广泛的大数据人群

36大数据

长按识别二维码，关注36大数据

搜索「36大数据」或输入36dsj.com查看更多内容。

投稿/商务/合作:dashuju36@qq.com

点击下方“阅读原文”查看更多

↓↓↓

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/