用Go重构C语言系统,这个抗住春晚红包的百度转发引擎承接了万亿流量
集成四大功能,开源四大能力
流量接入和转发:支持HTTP、HTTPS、HTTP/2、QUIC等多种协议,并支持强大的应用层路由能力 流量全局调度:支持由外网流量调度和内网流量调度共同构成的全局流量调度系统 安全和防攻击:支持黑名单封禁、精细限流和应用层防火墙(WAF)等多种防攻击能力 实时数据分析:支持分钟级的超高维度时序报表
支持HTTP/HTTPS/SPDY/HTTP2/WebSocket等 支持TLS/HTTP/ WebSocket反向代理模式
通过可扩展插件框架,快速定制开发扩展模块,满足业务定制化需求 内置重写、重定向、流量修改、封禁等丰富插件
基于领域专有语言的分流规则,满足复杂业务场景定制化流量转发 支持完备的分流条件原语集,包括基于请求内容(URI/Header/Cookie等)以及请求上下文(IP、协议、标签、时间等)的条件原语。
支持集群级别负载均衡及实例级别负载均衡,实现多可用区容灾及过载保护 内置加权轮询、加权最小连接数策略,基于IP或请求内容识别用户实现会话保持
基于Go语言,具有六大优势
性能和 C 接近 并发性
Go routine:屏蔽底层的机制,可以充分利用 CPU 资源 多线程模式:容易思考
描述能力与 Python 接近 较丰富的库(系统库,第三方库)
package 数据访问的限制(首字母大小写的区别)
内置的单侧和覆盖检查工具,易于做 TDD go test
严格的编译阶段检查:强类型,文件包含,... Panic,便于定位问题
可编译为独立可执行程序
研发效率高:Go语言的开发效率远高于C语言(及Lua),在代码的可维护性方面也有巨大优势。 系统的安全和稳定性高:Go语言没有C语言固有的缓冲区溢出隐患,规避了大量的稳定性和安全风险;另外对于异常可以捕捉,保证程序在快速迭代上线的情况下也不崩溃。
转发场景的直接支持:和Nginx这样从Web Server转型为Proxy的进化路径不同,BFE直接为转发场景设计,从转发模型和转发配置方面更满足转发场景的需求 多租户的支持:在云计算的场景下,多租户复用是普遍的需求。在BFE的设计中,内置提供了多租户的支持 结构化的配置:BFE的配置设计,大量使用JSON这样的结构化方式,便于和相关配置管理系统对接 丰富的监控探针:作为一个工业级软件,在BFE的设计中充分考虑了线上监控的需求,BFE程序通过HTTP方式向外暴露数千个内部状态变量
创建并运行
前提
golang 1.12+ golang yacc git
下载源代码
BFE代码可以在以下 repo 中找到:
克隆主要的BFE repo:
$ mkdir -p gocode/src/github.com/baidu
$ cd gocode/src/github.com/baidu
$ git clone https://github.com/baidu/bfe
$ cd bfe
从源代码创建
在bfe(src / github.com / baidu / bfe)的源目录中运行构建脚本:
$ make
运行测试:
$ make test
BFE二进制文件生成如下:
$ file output/bin/bfe
output/bin/bfe: ELF 64-bit LSB executable ...
运行
使用示例配置运行bfe:conf
$ cd output/bin/
$ ./bfe -c ../conf -l ../log
功能性
集群之间的请求路由
HTTP标头中的字段用于定义路由规则,以在群集级别分配流量,例如:
主机,路径,查询,cookie,方法等
一个产品“demo”需要处理三种流量:静态内容流量,“后”流量,其他流量,据此我们可以定义三个集群:
静态演示:提供静态内容 demo-post:发表留言 demo-main:服务其他流量
规则1:req_path_prefix_in(“ / static”,false)-> demo-static,这意味着路径前缀为“ / static”的消息将被路由到集群demo-static。 规则2:req_method_in(“ POST”)&& req_path_prefix_in(“ / setting”,false)-> demo-post,这意味着使用方法“ POST”并以“ / setting”为前缀的消息将被路由到集群“ demo-发布”。 规则3:默认-> demo-main,这意味着所有与上述规则不匹配的消息都将发送到集群“ demo-main”。
子集群级别的负载平衡
在子集群级别,也可以配置负载平衡规则。规则定义了分配给每个子群集的流量权重。 可以使用特殊的虚拟子群集“ BLACKHOLE”来丢弃流量。
考虑以下配置:
两个IDC:IDC1,IDC2 两个BFE集群:BFE1,BFE2 两个后端子集群:sub-cluster-1,sub-cluster-2
BFE1:{sub-cluster-1:w11,sub-cluster-2:w12,Blackhole:w1B} BFE2:{sub-cluster-1:w21,sub-cluster-2:w22,Blackhole:w2B}
例如,如果权重配置{w11,w12,w1B} = {45,45,10},则到子集群的流量百分比是sub-cluster-1,sub-cluster-2和Blackhole分别是45%,45%和10 %。
实例级别的负载平衡
通常,子群集由多个实例组成。在子群集中,WRR(加权轮询)用于在实例之间分发消息。 实例可以根据其容量分配不同的权重。
实例的状况检查
正常状态:实例正常处理消息。 正在检查状态:实例异常,无法处理消息。BFE在这种状态下会定期进行健康检查。
在以下情况下正常进行检查:
在连接或向实例发送消息时连续失败超过阈值。
BFE从后端实例收到正确的健康检查请求响应。
在同一子群集内重新路由消息。 将消息重新路由到其他子群集。
短期连接:BFE使用新建立的TCP连接将每个请求消息路由到后端服务器。 连接池:
BFE维护到实例的连接池。 对传入的请求:
如果有可用的连接,请重新使用它。 否则建立一个新的TCP连接。
如果连接池的当前大小小于配置的数目,则将连接添加到该池中。 否则,直接关闭连接。
源IP 请求标头,Cookie等中的字段
子群集级别:会话的消息发送到相同的子群集(此子群集中的实例可能不同)。 实例级别:会话消息发送到同一实例。
监测
指标
配置
地址
地址
插件
插件模块
(*本文为AI科技大本营整理文章,转载请微信联系1092722531)
◆
精彩推荐
◆
CSDN云计算TOP案例征集开启啦~~
你的“云+X”方案够先进吗?够高效吗?能解决行业目前的问题并快速迭代吗?想要更多人知道你的项目?请赶快扫码提交方案,权益多多,请见下方海报啦!
日均350000亿接入量,腾讯TubeMQ性能超过Kafka
从基本组件到结构创新,67页论文解读深度卷积神经网络架构
知识图谱从哪里来:实体关系抽取的现状与未来
MobileNets进化史
三位物理学家与陶哲轩证明的惊天定理,原来早在教科书里?
程序员大厂十年:我的三段职业经历和八条建议!
小米 9 年,雷军开启 AIoT 与 5G 超级互联网时代!
金山办公上市,雷军心愿了却!
他的公司1年令比特币暴跌数次,上榜福布斯捐10亿美元的跨界传奇
你点的每个“在看”,我都认真当成了AI
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
关注网络尖刀微信公众号
随时掌握互联网精彩
随时掌握互联网精彩
赞助链接
排名
热点
搜索指数
- 1 澳门是伟大祖国的一方宝地 7927989
- 2 女法官遇害案凶手被判死刑 7906150
- 3 日本火山喷发灰柱高达3400米 7806901
- 4 中国为全球经济增长添动能 7751085
- 5 肖战新片射雕英雄传郭靖造型曝光 7616600
- 6 大三女生练咏春一起手眼神骤变 7573309
- 7 #马斯克对特朗普政府影响有多大# 7484448
- 8 36岁女子看高血压查出怀孕34周 7314435
- 9 赵丽颖带儿子探班 7232331
- 10 女子穿和服在南京景区拍照遭怒怼 7175904