机器之心报道编辑：杜伟、陈萍来自商汤、上海人工智能实验室等机构的研究者用线性 COSFORMER 来取代 transformer 中的 softmax 注意力机制，在多项任务上达到最优。Transfo
新智元报道 编辑：LRS【新智元导读】Transformer在图像分类任务上经过充分训练已经足以完全超越CNN模型，但GAN仍然是Transformer无法踏足的领域。最近港中文博士提出首个基于
选自DeepMind Blog作者：Žiga Avsec机器之心编译继蛋白质结构预测之后，一路领跑的 DeepMind 又将 AI 的触角伸向了 DNA。当人类基因组计划成功地绘制出人类基因组的 DN
大数据文摘转载自微软研究院AI头条编者按：近一年来，Transformer 在计算机视觉领域所带来的革命性提升，引起了学术界的广泛关注，有越来越多的研究人员投入其中。Transformer 的特点和优
机器之心报道机器之心编辑部Transformer 开始进军决策领域了，它能否替代离线强化学习呢？近日，UC 伯克利、FAIR 和谷歌大脑的研究者提出了一种通过序列建模进行强化学习的 Transform
新智元报道 来源：ICML 2021编辑：LRS【新智元导读】Transformer能处理文字、图片，如今又进军视频领域！Bengio的徒孙、罗格斯大学华人博士生发布了一个视频版GPT-3，基于
机器之心 & ArXiv Weekly Radiostation参与：杜伟、楚航、罗若天本周的重要论文包括来自微软 Cloud+AI 部门的 DeepDebug，一种使用大型预训练模型 tra
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI谈到Transformer，你可能会想到一众NLP模型。但现在，Transformer其实还能替CNN把活给干了，并且干得还不赖。比如微软亚研
选自arXiv作者：Sharan Narang等机器之心编译编辑：魔王来自 Google Research 的研究人员探索了多个 transformer 变体，发现它们无法在多个实现和应用中实现很好地
自2017 年 6 月谷歌发布论文《Attention is All You Need》后，Transformer架构为整个NLP领域带来了极大的惊喜。随着技术的发展，Transformer 不仅成为
