AIを高リスクにするものは何か

EU AI法の文脈における「高リスクAI」という用語は特定の法的意味を持ちます。付属書IIIの八つのカテゴリーのいずれかに該当するAIシステムを指します--故障や偏った出力が人々の健康、安全、基本的権利に重大な損害を引き起こす可能性のある分野で展開されるシステムです。

重要な点は、分類がシステムの技術的アーキテクチャではなく、その使用に基づいているということです。同じAIモデルでも、コンテキストによって分類が変わります。教育機関の写真から顔認識モデルを使用することは最小リスクです。法執行における識別に同じモデルを使用することは高リスクです。

八つの高リスクカテゴリー

生体認証識別・分類：遠隔生体認証識別のためのAIシステムと、センシティブな特性による生体認証分類システム。

重要インフラ管理：道路交通、水道、ガス、暖房、電力などの重要インフラの管理・運営におけるAI。

教育・職業訓練：教育機関へのアクセスを決定したり、教育レベルやキャリアに影響する学習パフォーマンスを評価したりするAI。

雇用・人員管理：採用、履歴書スクリーニング、昇進、解雇、タスク割り当て、パフォーマンス監視のためのAI。

必須サービスへのアクセス：信用スコアリング、ローンスコアリング、健康・生命保険リスク評価、緊急サービスルーティングのAI。

法執行：ポリグラフ等のツール、個人のリスク評価、予測的警察活動、犯罪者プロファイリング。

移民・亡命・国境管理：嘘の検出、入国リスク評価、亡命・ビザ申請の審査、国境監視。

司法・民主的プロセス：法律の解釈や事実への適用で裁判所を支援するAI、選挙や投票行動に影響を与えるAI。

高リスクAIの要件

高リスクAIシステムのプロバイダーは市場投入前に適合性評価を実施しなければなりません。要件には：AIライフサイクル全体のリスク管理システム、トレーニング・検証・テストデータのデータガバナンス措置、完全な技術文書、自動ログ、オペレーターへの透明性、人間による監督メカニズム、パフォーマンス精度と堅牢性、サイバーセキュリティが含まれます。

オペレーター--AIを構築せずに展開する組織--も独自の義務を持ちます：人間による監督の実装、AIシステムパフォーマンスの監視、特定のコンテキストでの基本的権利影響評価の実施、AIが決定で使用されていることの当事者への通知。