为什么公共部门AI治理不同

AI治理的核心原则--问责制、透明度、人工监督、公平性--适用于公共和私营部门。不同的是这些原则所服务的问责结构。政府机构在使用AI时,必须对公民负责,并对赋予政府合法性的民主监督机制负责。

Robodebt:公共AI治理失败案例

澳大利亚自动化债务追偿计划(Robodebt)非法向约44.3万名社会福利领取者征收债务,其治理教训超越了法律错误:缺乏对自动化方法的适当法律验证、前线工作人员的顾虑没有得到有效上报、投诉量没有被识别为系统性错误的信号、实质上将举证责任转移给了领取者。

EU AI法案和公共部门义务

EU AI法案特别关注政府使用AI的情况。用于执法、移民和边境控制、司法、关键基础设施管理的AI系统被归类为高风险。在公众可进入场所实时生物特征识别原则上被禁止,除了执法的狭窄且严格监管的例外情况。公共部门AI治理必须阐明哪些AI决策受行政程序上诉约束--受影响的个人需要知道AI被用于其决策,有要求人工审查的手段,以及对不利决策有有意义的上诉机制。

公共部门AI治理的最高标准不是简单地遵守监管要求,而是真正赢得公众对政府AI使用的信任。这需要主动透明(公众应该能够了解哪些AI系统被用于影响他们的决策)、实质性问责(当AI系统出错时,应该有明确的问责机制),以及有意义的公众参与(在部署影响公众的AI系统之前,征求相关社区的意见)。建立这种信任是公共部门AI治理的最终目标。

公共部门AI的一个独特治理挑战是在追求效率和维护程序正义之间的平衡。AI系统可以更快、更一致地处理申请,但这种速度和一致性不能以牺牲每个人受到公平对待的权利为代价。政府机构使用AI所面临的宪法和法定程序要求--通知、听证、申诉权--不能仅仅因为系统是自动化的就被绕过。最好的公共部门AI治理框架将这些程序权利作为核心设计约束,而不是事后考虑。

随着AI技术和监管格局的持续演变,AI治理实践也需要不断适应。建立在坚实原则基础上的治理框架--问责制、透明度、人工监督、公平性--将比任何特定法规要求更加持久。投资于这些核心能力的组织不仅将在当前监管环境中做好准备,而且将在AI治理预期不可避免地提高的未来做好准备。AI治理不是一项要完成的项目,而是需要随着组织AI使用的演变而持续关注的能力。

在透明度和效率之间取得平衡

公共部门AI治理面临的一个独特紧张关系是透明度要求与AI系统有效性之间的潜在冲突。例如,欺诈检测AI的详细披露可能会帮助欺诈者规避检测。执法AI使用的方法学披露可能会帮助罪犯逃避检测。这种紧张关系没有简单的解决方案,但成熟的公共部门AI治理框架在以下方面有所区别:区分过程透明度(我们使用什么类型的AI系统,我们的治理是什么)和方法学透明度(我们的算法如何工作的精确技术细节);建立对AI使用有问责制的机制,即使对公众完全技术透明是不可行的;以及确保独立审计者(即使不是一般公众)可以访问足够的信息来进行有意义的监督。公共部门信任的核心是公民相信政府AI负责任地使用,并在出错时会有问责制--这不一定要求每个算法参数都完全公开。