酷应用

AI专家呼吁结束政府中的“黑箱“算法

百家作者：硅谷洞察 2017-11-02 03:21:15

硅谷Live / 实地探访 / 热点探秘 / 深度探讨

人工智能在法律领域的挑战

正当法律程序，是写入美国宪法的基本人权。但是一份新的研究报告表明人工智能正在通过计算机代码破坏这一政治基础。

负责司法审判，健康和福利等等职能的政府机构，近年来越来越多的开始使用软件支撑的打分系统，来辅助类似于是否给予假释，如何判刑，何种分配资源等决策的制定。这份来自于AI Now，一个NYU的研究中心的报告，研究了人工智能的社会影响，并认为许多正在使用人工智能的系统对于公众来说都太不透明了。

这份报告呼吁政府机构远离所谓的“黑箱“系统，不要试图逃脱外部的监管。Kate Crawford，一位微软的研究者和AI Now的联合创始人，认为公民有权利知道代码做出决定的原理和其实际表现水平。“系统一定会越来越复杂，毕竟之前只能被科技公司采用的例如机器学习之类的科技现在已经可以被更广泛地使用。”

“为了保护正当法律程序，我们应该像对待人类决定一样小心地对待算法决定，”Crawford说到。她认为政府可以在不公布全部代码的情况下，透露所采用系统的其他信息和实际表现情况，从而保护知识产权。

政府越来越倚重算法来作出决定。一些时候，比如说在核定假释期限时，算法可以让政府决策更公平。但是一些其他的算法则被发现有着明显的偏见。ProPublica报道称去年一个用于量刑和裁定假释的打分系统有着明显的种族歧视。

无论最终将带来什么影响，民众都需要了解将要改变他们生活的算法的更多信息。今年六月，一名被威斯康辛最高法院判刑的被告人要求了解更多关于Compas量刑工具的要求，但遭拒绝。在上诉至美国最高法院处后，其上诉又被驳回。一个由法学专家组成的队伍致力于研究23个州正在使用的量刑算法，但基本上是空手而回。毕竟，政府都和公司签署了合同，保证不会透露过多信息。

AI Now呼吁我们要重新冷静思考政府对于算法的使用。这是它37页的报告中十条建议的其中一条，而其他的建议总结了他们对于劳动力市场，社会经济不平等和隐私的研究。

这个团队也建议公司要小心甄别训练数据中的偏见，毕竟这些偏见可能会深深地印在最终的产品中。报告也呼吁政策制定者保证自动化系统在招聘时不会歧视特定族群。高盛和联合利华已经开始使用创业公司HireVue的科技，通过面试者的面部表情和声音来为人力资源主管们提出建议。这一创业公司认为他们的科技比人更为客观，Crawford则申明这样的科技应该被更加小心的评估，同时其评估成果有义务向全社会公开。

但是想要改变政府使用算法则是一个缓慢的过程。Rutgers大学的法律教授，Ellen Goodman的研究显示，许多州政府和市政府的工作人员都没有能力自行设计他们自己的系统，甚至去正确地分析和解释从外部购买的系统究竟是如何运作的。

AI Now的报告来得正是时候，因为越来越多的人开始重新思考我们究竟应该怎样在公共生活中使用算法。

近期英国政府发布了一篇反思如何发展AI产业的调查报告，其中就提到英国的数据管理者应该发展出一套可以解释AI系统是如何做出决定的框架。

同样，纽约市政府也就一则要求政府部门公布那些决定了市民刑法和福利的算法的源代码。

而欧盟数据保护工作小组起草了一套关于如何使用算法做出的决定的指导方针，其中表明公民有权利挑战这些决定。在报告中，工作小组小心提示到，“自动化的决策制定可能会为公民自身的权利和自由带来重大风险，这需要我们提供足够的保护措施。”这一指导方针将会影响新的数据保护法的制定和执行。

目前看来，美国联邦政府并不太可能加入这一批探讨AI将带来什么社会影响的政府大军。

2016年，奥巴马政府就AI将给这个国家带来的便捷和挑战举行了一系列的工作坊。AI Now和白宫科学技术政策与经济委员会合作主持了其中一场。而这些机构如今看起来已经对这个话题漠不关心。Crawford说，“AI政策现在已经不是白宫主要的研究议题之一了。”

想和探长聊一聊？来加探长个人微信号 svinsight