酷应用

新闻
- 看点
- 观点
- 读点
- 热点
科技
- 数码
- 软件
- 应用
- 极客
企服
- 电商
- 运营
- 移动
- 访谈
- 动态
- 招聘
- 访谈
- 百家
安全
- 业界
- 快讯
- 技术
- 校园
- 工具
文娱
- 明星
- 影视
- 音乐
- 网娱
- 韩娱
- 词典
游戏
- 手游
- 页游
- 端游
好货
- 报道
- 值得买
- 健康

模型越大表现越差，这个比赛悬赏25万美元找大模型不擅长的任务，去试试？

百家作者：机器之心 2022-07-05 13:50:29

机器之心报道

编辑：张倩

帮大模型找 bug 还能赚钱，去试试？

「找到一项任务，越大的模型反而表现越差，你就有机会拿走 10 万美元的奖金。」这是纽约大学的几位研究人员组织的一项另类竞赛。

随着语言模型变得越来越大（参数数量、使用的计算量和数据集大小都变大），它们的表现似乎也原来越好，这被称为自然语言的 Scaling Law。

但是，这些模型也有自己的缺陷，比如存在偏见、可能产生看似合理实则错误的信息。这项竞赛的目的就是要找到一些大模型不擅长的例子。

组织者将这些现象称为 inverse scaling。这样的例子似乎并不常见，但确实也能找到了一些。比如在问答任务中，如果在提问的同时加上你的信仰，大模型会更容易受到影响。其他可能的例子还包括模仿 prompt 中的错误 / bug 或重复常见的错误概念。这些例子能让我们了解当前语言模型预训练和缩放范式的潜在问题，还可以为改进预训练数据集和目标提供灵感。

比赛共有两轮，第一轮截止时间是 2022 年 8 月 27 日，第二轮截止时间是 2022 年 10 月 27 日。

参赛者需要做到以下几点：

确定一个疑似显示了 inverse scaling 的任务；
为该任务构建包含 300 多个示例的数据集；
使用 Colab notebooks，用 GPT-3/OPT 测试你的数据集的 inverse scaling。

提交的作品将根据 AnthropicAI（一家非营利 AI 安全研究公司）提供的一系列私人模型进行评估，奖项将由一个匿名评审团决定。

其中，一等奖一名，奖金为 10 万美元；二等奖五名，奖金 2 万美元；三等奖 10 名，奖金为 5000 美元。总奖金池为 25 万美元。

比赛结束后，组织方将撰写一份结果调查报告，并发布一个包含已接受任务的基准，获奖者将被邀请为论文的共同作者。

更多详细内容参见 GitHub：

项目链接：https://github.com/inverse-scaling/prize

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/

*文章为作者独立观点，不代表爱尖刀立场

本文由机器之心发表，转载此文章须经作者同意，并请附上出处( 爱尖刀 )及本页链接。

原文链接 https://www.ijiandao.com/2b/baijia/435810.html

大模型

图库

公众号

关注网络尖刀微信公众号
随时掌握互联网精彩

赞助链接

百度热搜榜

排名热点搜索指数