如何审计AI系统：实用框架
AI审计正在更多司法管辖区成为监管要求。本指南涵盖审计内容、审计主体及结果处理方法。
Key Takeaways
AI治理是指组织用于确保其AI系统得到负责任开发、部署和运营的政策、问责结构、流程和控制机制的总体。
EU AI法案适用于影响欧盟公民的AI的所有组织——无论组织位于何处。
有效的AI治理需要六个支柱：可见性、问责制、政策、人工监督、监测和事件管理。
"仅供参考。本文不构成法律、监管、财务或专业建议。如需具体指导，请咨询合格专家。"
什么是AI审计
AI审计是对AI系统多个维度的系统检查：系统的设计（它是如何被设计来做它所做的事情的）、数据（哪些数据用于训练、验证和操作）、性能（它在实践中有多准确和可靠）、治理（谁对系统负责以及如何做出决策）以及合规状态（它是否符合适用的监管要求）。这将AI审计与技术审查区分开来——审计评估系统是否被适当使用，不仅仅是它是否工作。
五个审计领域
目的和背景：系统被设计用于什么目的，实际使用是否一致？目的漂移——系统被用于未经验证的任务——是常见的治理失败。数据：训练数据来自哪里，获得了许可吗，数据是否代表目标人群，数据构成中是否存在偏见指标。性能：系统在相关指标上的表现，包括跨人口统计群体。治理：问责结构、监控基础设施、AI输出的人工审查流程。合规：适用的监管要求和合规性评估状态。
实施方法
对大多数组织来说，实用方法是从当前AI部署的自我评估开始，对最高风险系统进行独立外部审计。EU AI法案要求在部署前对高风险AI系统进行合规性评估，并进行持续的上市后监控——这些是现有审计实践的具体形式。定期审计和持续改进是长期成功的关键。
AI审计不应该是一次性事件，而应该是持续AI治理实践的一部分。初始审计建立基线，识别最关键的治理差距。持续监控跟踪AI系统随时间的变化，检测性能问题和分布漂移。定期重新审计（例如每年一次对高风险系统）验证治理措施是否有效，并识别随着系统和业务环境的变化而出现的新风险。将审计思维融入AI系统的整个生命周期是成熟AI治理的标志。
对于第一次进行AI审计的组织，最重要的建议是从范围有限但执行良好的审计开始，而不是试图一次覆盖所有东西。选择一个或两个具有最高风险或最大业务影响的AI系统，对这些系统进行深入审计，从中学习，然后将经验应用于扩展审计计划。这种迭代方法可以建立审计能力，同时提供立即的风险管理价值，并避免因一次性大规模努力而导致的审计疲劳。
随着AI技术和监管格局的持续演变，AI治理实践也需要不断适应。建立在坚实原则基础上的治理框架——问责制、透明度、人工监督、公平性——将比任何特定法规要求更加持久。投资于这些核心能力的组织不仅将在当前监管环境中做好准备，而且将在AI治理预期不可避免地提高的未来做好准备。AI治理不是一项要完成的项目，而是需要随着组织AI使用的演变而持续关注的能力。
AI审计中的常见发现
对数百个AI系统进行审计的组织和顾问报告了一些一致出现的发现。最常见的是：目的漂移——在几乎所有案例中，AI系统用于与其最初设计和验证用途略有不同的目的；监控缺口——大多数组织的AI系统监控比他们认为的少；文档不完整——对于非正式构建或随时间演化的系统尤其如此；权责不清——技术所有者（谁维护系统）和风险所有者（谁对结果负责）之间往往存在混淆；以及公平性问题被忽视——对AI结果跨人口统计群体的测试在许多系统中根本没有发生。这些发现的普遍性提供了一些安慰：大多数组织并非显著落后于同行。但这也提供了严肃的信号：许多已部署的AI系统在治理方面存在实质性缺口，需要被发现和解决，然后才能以不可预见的方式出现。定期的AI审计是发现这些缺口的机制。