Transformer变体为何无法应用于多种任务?谷歌:这些架构更改不能有效迁移
来自 Google Research 的研究人员探索了多个 transformer 变体,发现它们无法在多个实现和应用中实现很好地迁移,大多数架构更改无法有效提升性能。
透明注意力:沿着编码器路径创建加权残差连接,以加速梯度流;
进化 Transformer:通过基于进化的架构搜索来设计模型,其中初始群体的种子是原版 transformer;
合成器变体:用「合成注意力」替代自注意力;
漏斗 Transformer:渐进式地减少序列长度,以高效编码输入序列;
稀疏专家 Transformer:用稀疏激活专家层替代前馈网络;
通用 Transformer:对输入序列重复应用相同的 transformer「模块」。
建新·见智 —— 2021亚马逊云科技 AI 在线大会
4月22日 14:00 - 18:00
识别二维码或点击阅读原文,免费报名看直播。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
赞助链接
排名
热点
搜索指数
- 1 推动干部能上能下 7941221
- 2 亚冬会遭美国等地网络攻击超27万次 7996636
- 3 中方将反制美国所谓对等关税 7874475
- 4 我国将多措并举减轻企业负担 7723077
- 5 3名菲律宾间谍落网 相貌曝光 7603849
- 6 于东来质问永辉店月赚200万不涨工资 7568593
- 7 特朗普宣布国家紧急状态 7462445
- 8 金价再起飞 7354796
- 9 “土豆大王”梁希森去世 享年71岁 7229809
- 10 22岁女骑手车祸去世 家属寻目击者 7116071