Transformer变体为何无法应用于多种任务?谷歌:这些架构更改不能有效迁移
来自 Google Research 的研究人员探索了多个 transformer 变体,发现它们无法在多个实现和应用中实现很好地迁移,大多数架构更改无法有效提升性能。
透明注意力:沿着编码器路径创建加权残差连接,以加速梯度流;
进化 Transformer:通过基于进化的架构搜索来设计模型,其中初始群体的种子是原版 transformer;
合成器变体:用「合成注意力」替代自注意力;
漏斗 Transformer:渐进式地减少序列长度,以高效编码输入序列;
稀疏专家 Transformer:用稀疏激活专家层替代前馈网络;
通用 Transformer:对输入序列重复应用相同的 transformer「模块」。
建新·见智 —— 2021亚马逊云科技 AI 在线大会
4月22日 14:00 - 18:00
识别二维码或点击阅读原文,免费报名看直播。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
赞助链接
排名
热点
搜索指数
- 1 中国是世界绿色发展的坚定行动派 7904519
- 2 中国这两个邻国又到战争边缘 7809467
- 3 “中国赢下了这一轮” 7714008
- 4 航天员乘组拍下“太空全家福” 7616309
- 5 不要欺负七旬老人唐国强 7520339
- 6 成本9元素颜霜标38元卖出500多万 7427274
- 7 妥协换不来尊重 日本又给打了个样 7328666
- 8 儿子悄悄考上北大妈妈惊成静止画面 7232744
- 9 Create2025百度AI开发者大会 7140454
- 10 叶童组《跳楼机》舞台把谢娜看哭了 7042782