你的业务和技术债,是你进向高可用路上的阻碍吗?| QCon上海

百家 作者:InfoQ 2018-08-07 03:56:51

高可用架构 (HA) 不是一个新的话题,然而企业在践行网站高可用的过程中,却经常会面临方方面面的挑战:业务发展太快、基础设施不完善、技术债务很重、新技术层出不穷、人才结构不合理等等。

大规模互联网系统的架构设计和实现案例,如何做到高可用和可扩展的?

大规模互联网系统的设计、开发和运维,有哪些值得借鉴的经验和理念?

业界在互联网架构的方向有哪些最新的探索实践和踩坑经历?

这些问题如何解决?快来借鉴国内外大型互联网公司踩过的坑。

反欺诈 SaaS 系统

反欺诈 SaaS 系统作为 ToB 的业务系统,具有服务客户数量多,流量与客户流量同步上涨,虚假黑产流量占比高且流量变化大等业务特点。同盾科技高级技术专家孙奇将讨论同盾科技反欺诈 SaaS 系统,在业务流量不断上涨的过程中,为了满足 99.99%,200ms 以内响应的目标,在监控体系,应用优化,限流降级,存储升级,多机房建设等方面所做的实践。

你将了解

一个反欺诈 SaaS 服务流量不断增长至日十亿级别的过程中,遇到的业务问题及特点;

在可用性及性能方面,所遇到的挑战以及解决问题的架构演进过程。

在线风控平台

快速、高效、高可用的 PayPal 在线风控平台支持着 PayPal 的在线交易,为业务的发展做出重要的支撑。而随着业务的快速发展,对 PayPal 在线风控平台也相应提出了更多的技术挑战。为了应对挑战,Paypal 风控技术基础架构团队调整相关的策略,并进行了相应的优化实践。

你将了解

PayPal 在线风控平台当前体量、发展状况和架构演化过程

在线风控平台所面临的主要挑战,比如:

  1. 高耦合架构下带来的带来的高集成成本(API/data/variable/model/decision);

  2. 高依赖关系维护成本以及由于缺乏细粒度全局依赖关系信息导致的低效执行;

  3. 高并发、大量数据加载所导致的高系统执行代价 (context switch/thread sync/GC);

  4. 来自数据及存储主要挑战;

  5. 支持不同数据格式集成开销;

  6. 缺乏统一的数据访问抽象,导致对于不同环境的数据访问定制开销(开发、测试、回归测试、模拟、生产);

  7. 需要对于在线大规模、高并发、极低延时、高可用、多数据中心的 Risk 在线存储方案支持。

针对各项挑战的技术应对思考和方案

技术优化方案的实施总结

配置中心

随着微服务的流行,应用和机器数量急剧增长,程序配置也愈加繁杂:各种功能的开关、参数的配置、服务器的地址等等。

同时,我们对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群管理,完善的权限、审核机制等等。

在这样的大环境下,传统的通过配置文件、数据库等方式已经越来越无法满足我们对配置管理的需求。

配置中心,应运而生!

通过配置中心,我们可以方便地管理微服务在不同环境中的配置,从而可以在运行时动态调整服务行为,真正实现配置即『控制』的目标。

所以,在一定程度上,配置中心就成为了微服务的大脑,如何用好这个大脑,让微服务更『智能』,也就成为了一项比较重要的议题。

你将了解

通过 Apollo 配置中心的架构剖析,了解配置中心是如何实现高可用的;

通过配置中心的使用案例解析,了解微服务如何更『智能』地调整系统运行姿态;

了解使用配置中心的最佳实践。

微服务插件容器国际化

随着近几年国际化市场逐渐打开,合资企业、国际化市场等业务快速拓展,大多通过建立海外合资企业的模式快速进行业务布局,将现有国内成功业务模式快速复制到海外,而不同企业不同国家都有各自强自主性诉求,在业务平台架构中需要考虑设计通用性的技术栈如何复用输出海外、如何建设可自主定制开发业务的能力、海外合资企业如何协同研发等等问题。

阿里巴巴高级技术专家陈旭东将重点讲述如何将业务架构平台化,如何逐步打造出支持国际化能力的插件容器,在长期不断实践中沉淀一套可灵活支持国际化发展的综合性业务平台解决方案,未来可满足区域化市场快速搭建、多语种多国家精细化运营等诉求。

你将了解

统一业务开发框架:提供配置化的微服务业务研发架构解决方案;

统一业务应用平台:通过平台化满足业务可差异化实现能力的架构解决方案;

统一业务工作平台:平台资产可复用能力的架构解决方案。

插件容器技术细节以及可应用场景,如何通过插件容器标准化业务研发工作,满足海外合资企业的技术栈复用输出支撑、多团队强自主性隔离研发、rpc 服务 native 化解决跨国性能等细节;

了解业务快速发展过程中遇到的问题,以及如何通过技术架构提前布局支持业务快速迭代的思考方法。

高性能消息数据存储引擎

在海量数据和高并发的即时通讯系统中,高效可靠的消息数据存取,是整个系统里难度非常大的挑战。目前融云每天要存储的消息量高达数十亿条,多年来融云一直致力于消息存储的优化,从原型阶段的 MySQL 到后来的 Redis,LevelDB,我们不停的探索实践。随着业务的发展和数据的持续增长,我们需要一个既能满足业务需求,又能满足大业务量的消息数据存储,因此融云在 2017 年决定研发可以满足自身业务特点的高性能消息存储服务(内部代号 RCTSDB),并使用全新设计的数据存储引擎。

你将了解

消息数据存储的特点;

融云消息数据存储的发展历程;

融云消息存储引擎的设计解析;

融云消息存储引擎的性能优化。

VI,应用随身小助手

市面上已经有很多监控系统,它们解决了各式各样的监控问题。它们挺好用,收集了许多核心数据,有很多漂亮而实用的报表和查询,但有些资深的工程师总喜欢敲一堆难记的命令,开启一个又一个本机工具集,企图找到一些不在监控系统中的蛛丝马迹。传统监控系统,大多都是宏观监控,基于采样,有庞大服务集群用来处理数据,但它们无法记录一切,所以,有时当我们想更深入的了解时,往往感觉力不从心。如果让应用自诞生时刻起就不是黑盒子,并让应用自带窗口帮助人们了解和控制它们,那么实时了解和问题诊断是否会更加高效呢? 来自 eBay 的理念,由互联网前辈 Eric(叶亚明)和老吴(吴其敏)将它从 eBay 带到了携程,这就是 VI(Validation Internals),让监控随应用而生,与应用同行。

当想了解应用健康状况;当想了解应用启动过程;当想了解使用组件的运行情况时;当需要定位问题时;当你需要暴露应用运行数据时;当想了解应用各类资源占用情况时;当想查找各类配置时;当你需要实时改变应用行为时;当需要给应用性能调优时……总之,你所关心应用运行的一切,都可以让 VI 这个应用随身小助手来帮助你。

你将了解

通过对应用问题和监控领域的梳理,了解 VI 在监控领域的特别之处;

VI 默认监控如何以最少的资源,最简的部署,帮助解决应用常见监控问题;

通过启动管理和健康管理介绍,了解如何通过 VI 了解和控制启动过程并控制应用状态;

通过 VI 自定义组件介绍,了解如何通过 VI 简单快速的暴露和控制应用;

通过在线“debug”介绍,了解如何深度监控应用;

通过不同容器接入和集群方案介绍,了解 VI 的集成部署是多么便利。

以上就是业界一些最新的实践及思考,此外上海站还有其他 20+ 领域的技术分享,包括人工智能、大数据、微服务、高可用架构、DevOps 等热门技术的最新实践。目前大会 8 折报名中,立减 1360 元,点击「 阅读原文 」了解更多。有任何问题欢迎咨询票务经理 Hanna,电话:010-84782011,微信:qcon-0410。

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接