Transformer变体为何无法应用于多种任务?谷歌:这些架构更改不能有效迁移
来自 Google Research 的研究人员探索了多个 transformer 变体,发现它们无法在多个实现和应用中实现很好地迁移,大多数架构更改无法有效提升性能。
透明注意力:沿着编码器路径创建加权残差连接,以加速梯度流;
进化 Transformer:通过基于进化的架构搜索来设计模型,其中初始群体的种子是原版 transformer;
合成器变体:用「合成注意力」替代自注意力;
漏斗 Transformer:渐进式地减少序列长度,以高效编码输入序列;
稀疏专家 Transformer:用稀疏激活专家层替代前馈网络;
通用 Transformer:对输入序列重复应用相同的 transformer「模块」。
建新·见智 —— 2021亚马逊云科技 AI 在线大会
4月22日 14:00 - 18:00
识别二维码或点击阅读原文,免费报名看直播。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
赞助链接
排名
热点
搜索指数
- 1 习近平同印度总统互致贺电 7913305
- 2 东部战区“海峡雷霆-2025A”演练 7932884
- 3 张小泉集团及法人等被执行31.3亿 7827442
- 4 再次呼叫81192 7764707
- 5 《浪姐6》三公被曝全场都在喊黑幕 7682739
- 6 王毅:中俄永不为敌 7517691
- 7 吴宣仪晕倒被工作人员抱下台 7425596
- 8 港澳办再转发涉李嘉诚卖港口评论 7373269
- 9 内蒙古党委书记:口头能说清不要PPT 7209553
- 10 特斯拉市值一夜大增2174亿元 7135286