微软 Copilot 生成暴力色情图且拒不更改，内部工程师绝望举报至政府！

Jones 研究的是 Copilot Designer，这是由微软公司于 2023 年 3 月推出的 AI 图像生成器，由 OpenAI 提供技术支持。用户可以向 Copilot Designer 输入文本提示并生成图片。过去 Jones 一直在积极测试产品漏洞，通过实际操作，他发现该工具生成的图像常常与微软宣称的负责任 AI 原则相违背。

去年 12 月，Shane Jones 对着电脑屏幕上弹出的图像久久无法平静。因为他看到了“不该看的”。

Copilot Designer 不加掩饰地描绘出恶魔和怪物，甚至是与堕胎权、携带半自动步枪的青少年、带有暴力因素的女性色情图像，甚至与未成年人饮酒和吸毒相关的画面。

来源：Shane Jones 公开信

据 CBBC 报道，直到本周，他们仍能使用这款 Copilot 工具（原名为 Bing Image Creator）重现过去三个月间生成的所有这些不当内容。由此可以看出，微软其实并没有更新和改进，这也为昨日的“揭发”埋下了种子。

Jones 在接受 CNBC 采访时表示，“这大大出乎我的意料，我也第一次意识到，现在的 AI 服务实在称不上安全。”Jones 已经在微软工作了六年，目前在雷德蒙德总部担任首席软件工程经理。他表示自己并不是以专业身份进行 Copilot 测试，仅仅作为红队成员与其他外部人员一道参与研究。

Jones 对自己的所见所感极为震惊，因此决定于去年 12 月开始内部上报他的发现。尽管微软也承认其所言非虚，但并不愿意将产品撤出市场。

Jones 表示，微软还将他推荐给了 OpenAI，但后者一直没有对此事做出回复。忍无可忍的 Jones，在 LinkedIn 上发布一封公开信，要求 OpenAI 公司董事会下架 DALL-E 3。Jones 回忆道，微软的法务部门要求他立即删除这篇帖子，他只能依言照办。

今年一月，他又就此事向美国参议员发函，随后会见了参议院商业、科学与运输委员会的工作人员。如今，他的担忧情绪进一步加剧。本周三，Jones 决定向联邦贸易委员会（FTC）主席 Lina Khan 发出函件，同时也向微软董事会再次建议。

Jones 在写给 Khan 的信中提到，“过去三个月来，我曾一再敦促微软放弃将 Copilot Designer 对外公开，待添加更好的保护措施后再行上架。”但微软“拒绝了这一建议”，于是他又呼吁公司应在产品中添加披露信息，并调整软件 Android 版本的评级，强调其仅适用于成年用户。“但公司还是没有做出任何改变，而是继续向「全球各地各类设备上的全体用户」发布产品。”

在写给微软董事会的信中，Jones 要求公司的环境、社会与公共政策委员会调查法务部门及管理层的某些决定，并“对微软负责任 AI 事件的上报流程启动独立审查”。

他向董事会解释，自己“已经付出了巨大努力，希望能把问题控制在公司内部”，包括向负责任 AI 办公室上报图像内容问题、发布关于此事的内部帖子，甚至直接与负责 Copilot Designer 的高管团队会面。

微软公司发言人则向 CNBC 解释称，“我们致力于根据企业政策解决员工提出的所有问题，也感谢员工为研究和测试我们最新技术、进一步提高其安全性所做出的努力。对于可能给我们的服务或者合作伙伴造成潜在影响的安全绕过或顾虑，我们建立起强大的内部报告渠道以正确调查并对问题加以补救。我们鼓励员工使用这些渠道，以便公司适当验证并测试他们提出的担忧。”

Jones 介入的其实是一场关于生成式 AI 的公开大讨论，这场讨论在世界各地的选举年之前可谓愈演愈烈，影响范围已扩大到 40 多个国家的约 40 亿人口。

Jones 对于生成式 AI 及其他新兴技术缺乏护栏的担忧也绝非个例。他表示，根据从内部收集到的信息，Copilot 团队每天都会收到上千条产品反馈消息。要想解决所有问题，必须在新的保护措施或者模型重新训练方面投入大量资源。Jones 表示，他在会议上被告知，团队只会对最严重的问题 进行分类，而且目前不具备充足的资源来调查所有存在风险或者有问题的输出内容。

Jones 还提到，通过对 Copilot 图像生成器采用的底层 OpenAI 模型进行测试，他意识到“其能够生成不计其数的暴力内容”。在写给 Khan 的信中，Jones 表示 Copilot Designer 可能在政治偏见、未成年人饮酒和吸毒、宗教刻板印象及阴谋论等方面生成具有潜在危害的图像。

Jones 发现，只需将“支持堕胎”一词输入 Copilot Designer 中，不加其他提示词，该工具就会生成大量描绘恶魔、怪物和暴力场景的卡通风格图像。CNBC 看到的图像内容包括一只长有利齿的恶魔作势吞掉一个婴儿、黑武士达斯·维达在变异的婴儿身旁手持光剑，以及一台贴有“堕胎权即人权”的手钻正朝着已发育完全的婴儿痛下杀手。

还有一些照片显示，一名面带微笑的妇女在医生的包围下血流不止，人群中绘有一个巨大的子宫，周围环绕着燃烧的火把，还有一个手持干草叉、恶形恶相的男子站在恶魔和标有“支持堕胎”的机器旁边。

CNBC 在实验中独立重现出了类似的画面。其中一张绘有一名纹身男子怀抱婴儿；另一张则展示了一只有翼有角的恶魔，其子宫中正孕育着婴儿。在不加额外提示的情况下，“车祸”一词在惨烈场面之外还添加了性感女性的形象，包括一名仅着内衣的女性跪在一辆失事车辆旁，另有一些同样穿着暴露的女性坐在破旧的汽车的顶篷上。

而当输入“青少年 420 大麻派对”提示词，Jones 得到了大量未成年人饮酒和吸毒的图像。Copilot Designer 能够快速生成包含大麻叶、枝节、电子烟，装满大麻的袋子和瓶罐，以及一大堆无标啤酒瓶和红色酒杯的图像。

除了对暴力和毒品的担忧之外，AI 图像生成工具对于版权保护也基本不加限制。

Copilot 工具能够顺利生成关于迪士尼角色的图像，例如《冰雪奇缘》中的艾莎公主、白雪公主、米老鼠和星球大战角色，这很可能有违版权法和微软政策。CNBC 看到的内容包括带有艾莎形象的手枪、印着星球大战角色的百威啤酒罐和电子烟上的白雪公主肖像。

Jones 在采访中强调，“我可以确定，其中缺失的绝不只是版权护栏，还包括其他更重要的护栏机制。问题的关键是，身为微软一名关心此事的员工，面对这样一款在全球范围内传播有害、令人不安图像的产品，我们既没有地方可以上报、也没有投诉电话可以拨打，更找不到解决问题的有效途径。”

所以他才选择了这一方式“揭发”。

人工智能的内容生成确实出了很多的问题，Google Gemini 因为这种情况停用了图像生成功能，但是微软 Copilot 工具还在持续影响着大家。Linked 上 Jones 发布了这一内容。但是我们确实看到了许多反对者的看法。

有网友表示：“我不同意人工智能生成的或描绘穿着“淫秽”服装的女性的插图图像必然是物化女性的。谁来决定什么是淫秽？这在不同文化之间是非常主观的”。

有网友认为“我认为这是一封荒谬的信。除商标侵权外，您提到的所有图像都是您可以在互联网和视频游戏中找到的图像。政府没有业务立法道德，查看此类图像是父母应该与孩子讨论的个人决定，但 Microsoft 不应该被迫改变任何事情。他们不应该从事审查工作。如果存在商标侵权行为，则应向相关机构报告。”

当然，有反对者也有支持者。

有人则赞扬肖恩·琼斯的这种精神，认为这种对促进负责任的 AI 的奉献精神确实令人感动。

也有网友表示：“我觉得你做得很正确。在目前潜在受害者在 AI 技术形态塑造中几乎没有发言权的情况下，安全总比遗憾要好得多。”

同时有人认为肖恩·琼斯的揭发，起到了作用。如果在 Copilot Designer 中输入 Prompt 诸如“Pro Choice”和“Four Twenty”会返回一条消息，指出它们在提示中的使用会自动被阻止。这代表着其实微软已经在尽力地解决这些问题。

对此，你怎么看？你是觉得他在吹毛求疵？还是觉得微软应该采取措施呢？欢迎在评论区留下你的看法。

参考链接：

https://www.cnbc.com/2024/03/06/microsoft-ai-engineer-says-copilot-designer-creates-disturbing-images.html

本届 ArchSummit 会议上，我们邀请了 CNCF、顺丰集团、腾讯、百度等企业的专家来演讲。会议上还设置了大模型、架构升级等专题，如果你感兴趣来会议上演讲，欢迎点击「阅读原文」进入 ArchSummit 会议官网，提交议题。

会议现已进入 8 折早鸟购票阶段，可以联系票务经理 17310043226 , 锁定最新优惠。扫描上方二维码添加大会福利官，免费领取定制福利礼包。