政府はAIに意思決定を任せ続けているが、すでに問題が起きている

g.calder 著　2025年10月26日

The Exposé 

世界中の政府が時間と費用を節約するため、AIシステムの導入を急いでいる。提案の焦点は常に効率化にあり、警察活動の高度化、待ち時間の短縮、不正検知の精度向上などが掲げられる。しかし現実ははるかに複雑だ。自動化システムは給付金の誤った削減を引き起こし、顔認証技術は安全対策の進捗を上回る速度で拡大し、予測ツールは過去の偏見を繰り返し再現している。この世界的な概観では、近年で最も深刻な失敗事例と今後の警戒点を示す。

既に失敗した事例

オランダの育児手当不正受給疑惑 – 2021年

自動化されたリスクプロファイリングと強硬な執行により、数千世帯が不正受給者と誤認された。正当な受給者から不当な債務返済が要求され、制度は揺らぎ、政治的混乱が政府の辞任を招いた。

デンマークの失敗した福祉アルゴリズム – 2024年から2025年

数十の不正検知モデルが給付金受給者を監視した。人権団体アムネスティ・インターナショナルは、アルゴリズムが大量監視と社会的弱者への差別リスクをもたらすと報告した。監視は2025年まで継続され、システムは運用され続けた。

フランスの予測警察活動への反発 – 2025年

市民団体は予測警察活動の展開を記録し、2025年5月に全面禁止を要求した。証拠によれば、ホットスポット予測やリスク評価ツールは不透明で、偏見を再生産する可能性が高い。これらのシステムは過去のデータで訓練されており、警察官を既に過剰な取り締まりが行われている可能性のある同じ地域に送り戻す。一方で、一般市民にその仕組みを教育する取り組みはほとんど行われておらず、信頼できる不服申立の道も存在しない。

米国が国境での生体認証検査を拡大 – 2025年

数百の空港・港湾・陸路国境で顔認証比較が実施される。拒否権は存在するが大半の人には分かりにくく、精度は人口統計で変動するものの透明性のある数値は未公表だ。人間による検査ラインは自動化ラインより遅く、利便性が新技術への間接的強制圧力に変わっている。

オーストラリアのロボデット問題と新たな自動化欠陥 – 2023年から2025年

王立委員会は自動債務回収制度を違法かつ有害と認定した。2025年には監視機関が、ターゲットコンプライアンスフレームワークのIT不具合に起因する数千件の誤った求職者給付停止を指摘。対策が公表され謝罪もなされたが、依然として迅速性を重視するインセンティブが残っている。

インドで続く生体認証の失敗 – 2025年

生体認証の失敗やシステム障害により、多くの国民が配給や給付を受けられなくなった。当局は指紋認証の失敗を補うため顔認証を試験導入し、その逆も同様だ。しかし一つの生体認証が失敗し、別の認証が重ねて適用されると、同じIDに依存するサービス全体にエラーが拡散する可能性がある。

失敗の背景にある共通テーマ

国や利用事例を問わず、同じ特徴が繰り返し現れる。第一に不透明さだ。ベンダーや機関は秘密保持を主張するが、人々はなぜモデルにフラグを立てられたのか推測するしかなく、異議申し立ての余地はほとんどない。次に、導入規模の大きさが重大な誤りを招く。全国展開されたコードの誤りは記録的な速さで数千人に被害を与えるが、人間が管理する遅いシステムなら発見されていただろう。「バイアスイン、バイアスアウト」が第三の共通テーマだ。つまり、警察活動や福祉パターンの過去の偏見に基づいて訓練され、明日の判断を期待されている。第四に、システムが生み出す誤りに関わらず「撤回」することの政治的困難さだ。ツールが稼働し、業績目標や政府の重要システムに組み込まれた時点で、撤回はほぼ不可能となる。

現在、各機関は何を構築しているのか？

アメリカ

各機関は自動化された在庫管理システムや「高影響度」リスク管理を導入しつつ、空港・陸地国境・港湾での顔認識技術拡大を進めている。全国的な試験運用が恒久化すること、機関間データ共有の拡大、大規模プラットフォーム契約に警戒が必要だ。リスクには顔照合ソフトの人種的偏見や、数十億ドル規模の非公開契約に封じ込められたベンダーの意図的な不透明なロジックが含まれる。

中国

既存のカメラネットワークとリアルタイムデータベースに高度な分析機能が追加され、旅行・居住管理との連携が強化されている。現行の顔認証に加え、歩行パターンや声のモニタリングが導入され、極めて高精度な恒常的な人口追跡へ急速に近づいている。

欧州連合

最近のAI法により、政府はAIツールを公的登録簿に記載し、各ツールについて平易な説明文書を公開し、監査可能な契約を構築するよう義務付けられている。福祉・医療・警察システムで使用されているツールを掲載する国家ウェブサイトが登場する見込みだ。新たな文書が公開されるが、成果は向上するだろうか？機関が必要な情報を公開しても、偏見や弱い不服申立手段を抱えたシステム運用を続ける可能性もある。

日本

マイナンバーによる本人確認がチップ読み取りや顔認証と連携され、医療・金融分野の窓口業務が自動化される。機関間の記録連携を進める地域展開や、これまで問題となってきたデータ不一致が公共サービス利用を阻害し続けるか注目だ。

オーストラリア

ロボデット問題後の制度では、債務・給付決定への人間による再審査、通知文書の明確な理由記載、外部監査の受け入れが追加された。不正検知分析に人間の承認を伴うか、誤判定率の独立報告があるか、IT不具合による給付取消や補償遅延が続くかを見極める必要がある。

インド

州政府は指紋認証が失敗する地域で顔認証ソフトの試験運用を開始し、給付・警察業務における自動選別システムの導入を検討中だ。福祉・銀行・旅行データベースの連携強化が予想される。生体認証の誤作動による排除事例や、問題市民への不十分な異議申立経路に注意が必要だ。

AIシステムがあらゆる領域を覆う

国境と旅行：交通拠点での顔スキャンが急拡大する一方、監視リストは肥大化し、誤検知が実在の人物を足止めする。意図的に手動審査レーンを遅くすることで、人々は黙って自動認識を受け入れるようになる。

警察活動：古いデータで警察モデルを訓練すると、単にフィードバックループが生じ、警察は以前過剰に巡回した地域へ戻される。一方で新たな問題地域は、アルゴリズムに反映されるまでに時間がかかる。

デジタルID：世界中で展開される国民IDプログラムは、まもなく銀行口座、納税申告、医療システム、給付金と連動する。単一の誤りが社会全体のロックアウトへと連鎖し、追加の生体認証層が問題を悪化させる。

あるべき姿

自動化された政府システムが広く導入され、成功かつ透明性を保つためには、以下の原則が実践されねばならない。あらゆる政府のAIツールは、使用するデータ、既知の限界、精度レベル、失敗時の責任所在を含め、国民に明確に説明されねばならない。自動化された決定が金銭、自由、法的地位に影響を与える以上、異議申し立ての現実的な手段が必須だ。フラグが立てられた人々は、書面で理由を受け取り、数日以内に実在の人間による再審査を受ける必要がある。

敏感な領域では導入を段階的に進めるべきだ。福祉、警察、国境管理では、パイロット事業で小規模なグループをテストし、悪影響を測定し、独立した審査でシステムの安全性が確認された場合にのみ拡大すべきだ。誤検知は測定され、誤りがどれほど迅速に解決されるかのデータは公開されるべきだ。

各導入システムには、そのサービスに責任を持つ担当者を割り当てる必要がある。連絡先と、懸念を提起し真の対応を求めるための簡便な手順を明示すること。

最後に、各導入システムは事前に合意された時点で再評価されるべきだ。利益が不明確な場合やリスクが増大した場合、サービス再開前にシステムを見直し更新する必要がある。

最終的な考察

AIは単に国家を支援するだけでなく、システム全体の思考様式を再構築している。優れたシステムは速度と効率を高めつつリスクを軽減するが、ここ数年で既に明らかになったように、自動化された意思決定が常に正しい答えとは限らない。人間の判断力を回復させ、システムは理解可能である必要があり、人々は迅速かつ公平な方法で回答を得る手段を必要としている。