酷应用

观点：基于数据预测的解释真的能增加用户对人工智能的信任吗？

百家作者：数据分析 2020-11-05 09:34:53

本文约1000字，建议阅读8分钟

本文为大家介绍了一项最新的研究进展，它有助于理解人工智能的可解释性实际上如何影响用户对人工智能的信任。

近年来，许多人工智能(AI)和机器人领域的研究人员一直努力开发能够解释人工智能的预测或机器人行为的系统。他们工作背后的想法是，随着人工智能系统的普及，解释它们为什么会以特定的方式行动或为什么会做出某些预测可以提高透明度，从而提高用户对它们的信任。

最近，雷恩布列塔尼大西洋研究中心和图卢兹法国国家科学研究中心的研究人员进行了一项研究，对这一假设提出了质疑并进行了探索，希望能更好地理解人工智能的可解释性实际上如何影响用户对人工智能的信任。

他们发表在《自然机器智能》(Nature Machine Intelligence)上的论文认为，人工智能系统的解释可能并不像一些用户认为的那样真实或透明。

“这篇论文源于我们想要探索直观差距的愿望，”进行这项研究的两名研究人员Erwan Le Merrer和Gilles Tredan告诉TechXplore。“（这种差距在于）作为彼此有互动的人，我们总是习惯于不相信提供的解释。但作为计算机科学家，我们不断听到可解释性是公众接受人工智能的首要条件。”虽然我们认识到人工智能在某些情况下的好处(例如，人工智能设计师在“白盒”上操作)，但我们想从用户(即：“黑盒”)的角度来说明它的局限性。”

许多研究人员最近提出，机器学习算法和其他人工智能工具应该能够解释其决策背后的基本原理，就像人类一样。另一方面, Le Merrer and Trédan认为虽然AI的解释可能在本地环境中有价值,例如开发人员正在努力调试系统以提供有用的反馈,但在远程环境下，它们可能具有欺骗性，因为人工智能系统由特定的服务供应商训练和管理，所以它的决策是通过第三方传递给用户的。

Le Merrer和Tredan解释说:“对于采用基于人工智能算法的决策而言，用户对其所面临决策的理解是一个核心的社会问题。”“我们揭示了来自供应商的逻辑解释总是容易受到攻击(即，谎言)，这对于一个孤立的用户来说是很难或不可能检测到的。我们的结果表明，特征空间和可能攻击的空间是非常大的，所以即使用户联合起来发现问题，这些谎言仍然很难被发现。”

为了更好地解释他们的想法背后的原因，Le Merrer和Tredan用夜总会外面的保镖做了一个类比，这些保镖在向个别顾客解释他们为什么被拒之门外时可能会撒谎。类似地，研究人员认为，远程服务供应商可能在人工智能预测或行为背后的原因上对用户撒谎，例如，利用区别特征。在他们的论文中，他们将两者间的这种类似称为“保镖（bouncer）问题”。

Le Merrer和Trédan说，“我们的工作质疑了一个人们普遍相信的观点：解释会增强用户对AI系统的信任。”“我们宁可得出相反的结论：从用户的角度出发且在没有既存信任时，解释很容易成为谎言，并且因此可以通过任何方式解释任何事情。我们认为应该使用其他方法（例如，内部白盒算法审核，加密方法等）来寻求用户的信任。”

Le Merrer和Trédan在他们的论文中提供了一些实例以展示“保镖问题”是如何影响远程情境中AI行为的可解释性。在未来的研究中，他们的工作也许会激发进一步关于探索开发机器学习算法或机器人的好处和局限性的研究，这些好处和局限性可以解释其行为背后的原因，同时也可能促进替代方案的开发，以提高人们对AI的信任。

Le Merrer和Trédan说，“我们计划继续从用户角度（即“黑匣子”）研究人工智能系统，特别是探讨这个问题：普通用户可以发现/学习/理解/推断哪些AI系统正在成为他们生活中日益增长的一部分吗？”“例如，我们目前正在研究那些声称没有使用此方法的平台上的用户阴影禁止（即阻止或部分排斥用户无法访问在线社区）现象。”

相关链接：

Erwan Le Merrer et al. Remote explainability faces the bouncer problem, Nature Machine Intelligence (2020). DOI: 10.1038/s42256-020-0216-z

期刊信息：Nature Machine Intelligence

原文标题：

Do explanations for data-based predictions actually increase users' trust in AI?

原文链接：

https://techxplore.com/news/2020-10-explanations-data-based-users-ai.html

作者：Ingrid Fadelli，Tech Xplore

翻译：:王可汗，清华大学机械工程系直博生在读。

转自：数据派THU 公众号；

END

合作请加QQ：365242293