米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 (2025.10)

--- > [!NOTE] 目次 ```table-of-contents title: minLevel: 0 maxLevel: 0 includeLinks: true ``` --- > [!NOTE] リスト掲載用文字列 - [米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 (2025.10)](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-9c0a2c.html)【まるちゃんの情報セキュリティ気まぐれ日記】(2025年01月08日) --- > [!NOTE] この記事の要約（箇条書き） - **CSETのAI危害メカニズムに関する報告書を紹介** - 米国のCenter for Security and Emerging Technology (CSET) が発表。 - AIインシデントデータベース (AIID) に蓄積された1200件超のデータを分析基盤とする。 - **危害の構造的分類** - **意図的危害 (3種)** - **設計による危害 (Harm by Design):** 有害な目的で設計されたAIによる危害（主体：開発者）。対策例：法規制、輸出管理。 - **AIの悪用 (AI Misuse):** 開発者の意図に反するAIの使用（主体：利用者）。対策例：ガードレール、利用規約。 - **AIシステムへの攻撃 (Attacks on AI Systems):** サイバー攻撃によるAIの行動・不作為（主体：攻撃者）。対策例：レッドチーム、堅牢化。 - **非意図的危害 (3種)** - **AIの失敗 (AI Failures):** AIのエラー、誤動作、バイアス（主体：AIシステム）。対策例：テスト、監視、バイアス対策。 - **人間の監視の失敗 (Failures of Human Oversight):** 人間と機械のチームの不機能（主体：人間）。対策例：トレーニング、説明性。 - **統合的な危害 (Integration Harm):** 特定の文脈での展開が意図せぬ結果を生む（主体：組織・社会）。対策例：影響評価、社会的ガバナンス。 - **政策への示唆** 1. 危害軽減への画一的なアプローチは機能しない。 2. 計算能力で測られるモデルの能力は、危害発生の傾向を予測する上で不十分である。 3. 包括的なインシデント追跡が不可欠である。 - **著者の見解** - AIIDは日本の失敗知識データベースのAI版のようであり、今後さらに充実していくと期待。 - 日本もAIIDへのデータ提供を検討すべきだと示唆。 > [!NOTE] 要約おわり --- [« JPCERT/CCの早貸理事のこと...](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-a7d866.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/) | [欧州サイバーセキュリティ法の改正に向けた動き... (2025.12.09) »](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-8ffa2b.html) ## 2026.01.07 ### 米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 (2025.10) こんにちは、丸山満彦です。昨年やり残していたことをしばらく...サイバー空間と新興技術に関する安全保障政策を主導する組織である米国のワシントンDCにある Center for Security and Emerging Technology:CSET（安全保障・新興技術センター）\[[wikipedia](https://en.wikipedia.org/wiki/Center_for_Security_and_Emerging_Technology)\]から公表されている報告書をいくつか紹介します... 非常に興味深い内容と思います。この報告書の分析のもととなった、 [AI Incident Database (AIID)](https://incidentdatabase.ai/) では、現在は1200件を超えるAIインシデントデータが蓄積されています...それぞれの内容の精度はどうなのか分かりませんが、これほどのデータが集まっているのはそれなりの価値がありそうです。昔、畑村先生（）がつくった [失敗知識データベース](https://www.shippai.org/fkd/index.php) のAI版ですかね... 内容ですが、危害を構造的に整理したことから、危害の種類から、対策についても構造的に分析できるようになっています。これは、政策を考える上、企業が対策を考える上でも有益な整理だと思いました。さらに、この整理を踏まえて、AIIDの内容をより精査していくことでより良い対策ができるような気がします。。。この報告書では、危害を意図的な危害３、非意図的な危害３の合計６に分類しています。 <table><tbody><tr><td width="100">意図性</td><td width="133">Mechanism</td><td width="133">メカニズム</td><td width="400">概要</td><td width="100">主体</td></tr><tr><td rowspan="3" width="100">意図的</td><td width="133">Harm by Design</td><td>設計による危害</td><td>有害な目的で設計・開発されたAIシステムによる危害</td><td width="100">開発者</td></tr><tr><td width="133">AI Misuse</td><td>AIの悪用</td><td>開発者の意図に反する危害を及ぼすためのAIシステムの使用</td><td width="100">利用者</td></tr><tr><td width="133">Attacks on AI Systems</td><td>AIシステムへの攻撃</td><td>サイバー攻撃によって引き起こされたAIの行動または（不）作為による危害</td><td width="100">攻撃者</td></tr><tr><td rowspan="3" width="100">非意図的</td><td width="133">AI Failures</td><td>AIの失敗</td><td>AIのエラー、誤動作、またはバイアスによって引き起こされる危害</td><td width="100">AIシステム</td></tr><tr><td width="133">Failures of Human Oversight</td><td>人間の監視の失敗</td><td>間と機械のチームが機能しなかった結果生じる危害</td><td width="100">人間</td></tr><tr><td width="133">Integration Harm</td><td>統合的な危害</td><td>特定の文脈での展開が意図せぬ結果として引き起こす危害</td><td width="100">組織・社会</td></tr></tbody></table> 対応... <table width="100%"><tbody><tr><td width="133">意図性</td><td width="133">メカニズム</td><td width="400">典型的な事例</td><td width="167">発生原因</td><td width="233">政策・ガバナンス上の論点</td><td width="233">主な対策</td></tr><tr><td rowspan="3" width="133">意図的</td><td>設計による危害</td><td width="400">監視AI、兵器AI、ディープフェイク生成ツール</td><td width="167">開発段階で害を目的化</td><td width="233">禁止・規制の対象、国際ルール必要</td><td width="233">法規制、輸出管理、開発許可制</td></tr><tr><td>AIの悪用</td><td width="400">フィッシング生成、マルウェア生成、詐欺支援</td><td width="167">汎用モデルの悪用</td><td width="233">開発者責任の範囲、利用者規制の難しさ</td><td width="233">ガードレール、利用規約、監査ログ</td></tr><tr><td>AIシステムへの攻撃</td><td width="400">Jailbreak、データ汚染、モデル盗難</td><td width="167">AIの脆弱性、攻撃耐性不足</td><td width="233">AIセキュリティの標準化不足</td><td width="233">レッドチーム、堅牢化、サイバー防御</td></tr><tr><td rowspan="3" width="133">非意図的</td><td>AIの失敗</td><td width="400">誤認識、バイアス、誤判断</td><td width="167">データ品質、モデル限界</td><td width="233">評価指標の不備、透明性の欠如</td><td width="233">テスト、監視、バイアス対策</td></tr><tr><td>人間の監視の失敗</td><td width="400">自動運転事故、医療AIの誤用</td><td width="167">過信、理解不足、介入遅れ</td><td width="233">人間中心設計、教育訓練の不足</td><td width="233">トレーニング、説明性、介入権限</td></tr><tr><td>統合的な危害</td><td width="400">監視強化、差別の制度化、業務崩壊</td><td width="167">社会制度との不整合</td><td width="233">モデル性能ではなく制度設計の問題</td><td width="233">影響評価、社会的ガバナンス、制度調整</td></tr></tbody></table> 「設計による危害」については、社会で受け入れられない危害を生み出すAIを法的に禁止するというアプローチが有用となりうる。EUは禁止領域を法制化しましたね...日本も社会で受け入れられない危害を生み出すAIの開発（利用も）は明確に禁止すべきですね...ただ、そのときに、社会で受け入れられない危害というのはどういうものか？というのがある程度明確にならないと新たに禁止することを決めるのは難しい。「AIの悪用」はソフトローによる事前のガイドと、説明責任の明確化というのが考えられそうです。これは日本がとっているアプローチですね...利用に重きを置いているからそうなるような気がしました。この報告書では政策に対する示唆として次の３つを挙げていますね... | **1\. A one-size-fits-all approach to harm mitigation will not work.** | **1\. 危害軽減への画一的なアプローチは機能しない。** | | --- | --- | | The pathways to harm are diverse, as this report illustrates, and require equally diverse mitigation strategies. Purely technical approaches will fall short, especially in addressing integration harms and failures of human oversight. | 本報告書が示す通り、危害に至る経路は多様であり、同様に多様な緩和戦略を必要とする。純粋に技術的なアプローチでは不十分であり、特に統合的な危害や人間の監視の失敗に対処する上で限界がある。 | | **2\. Model capabilities, as proxied by computing power, are an inadequate predictor for the propensity to do harm.** | **2\. 計算能力で測られるモデルの能力は、危害発生の傾向を予測する上で不十分である。** | | This report showcases many examples of single-purpose AI systems being implicated in harm. Concentrating risk mitigation efforts on advanced AI systems would fail to address the very real risks stemming from the irresponsible design, deployment, and use of specialized AI systems. | 本報告書は、単一目的のAIシステムが危害に関与した事例を数多く示している。高度なAIシステムにリスク緩和策を集中させても、専門的なAIシステムの無責任な設計・展開・使用から生じる現実的なリスクには対処できない。 | | **3\. Comprehensive incident tracking is necessary to enhance our capacity to identify and respond to risks posed by AI.** | **3\. AIがもたらすリスクを識別し対応する能力を高めるには、包括的なインシデント追跡が不可欠である。** | | While implementing broad, sociotechnical mitigation strategies can significantly reduce the occurrence of harm from AI, it will not prevent incidents entirely. As AI innovation reveals new capabilities with new failure modes, deployers design new use cases, and nefarious actors find new ways to attack and misuse AI systems, new harms will emerge. Agile responses and rapid adaptation of mitigating approaches, enabled by effective learning from incident reporting, are necessary to keep pace with technological innovation. | 広範な社会技術的緩和策を実施すればAIによる被害発生を大幅に減らせるが、インシデントを完全に防ぐことはできない。 AIの革新が新たな機能と新たな故障モードを明らかにし、展開者が新たな利用ケースを設計し、悪意ある主体がAIシステムを攻撃・悪用する新たな方法を見出すにつれ、新たな被害が発生する。技術革新に追いつくためには、インシデント報告からの効果的な学習によって可能となる、機敏な対応と緩和策の迅速な適応が必要である。 | これから、AIIDはより充実してくると思うので、見ておくと良いかもですし、日本からもどんどんデータを入れていけば良いように思いました... ● [**CSET**](https://cset.georgetown.edu/) ・2025.10 [**The Mechanisms of AI Harm: Lessons Learned from AI Incidents**](https://cset.georgetown.edu/publication/the-mechanisms-of-ai-harm-lessons-learned-from-ai-incidents/) ・\[[PDF](https://cset.georgetown.edu/wp-content/uploads/CSET-The-Mechanisms-of-AI-Harm.pdf)\] [![20260106-55732](https://maruyama-mitsuhiko.cocolog-nifty.com/security/images/20260106-55732.png "20260106-55732")](https://cset.georgetown.edu/wp-content/uploads/CSET-The-Mechanisms-of-AI-Harm.pdf) ・\[[DOCX](http://maruyama-mitsuhiko.cocolog-nifty.com/security/files/520csetthemechanismsofaiharm20ja.docx)\]\[[PDF](http://maruyama-mitsuhiko.cocolog-nifty.com/security/files/520csetthemechanismsofaiharm20ja.pdf)\] 仮訳 --- ● **まるちゃんの情報セキュリティ気まぐれ日記** ・2011.03.29 [**これも仕分けられたん？　「失敗知識データベース」サービス終了**](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2011/03/post-1f88.html) ちなみに、 [失敗知識データベース](https://www.shippai.org/fkd/index.php) は、 [畑村創造工学研究所](http://www.sozogaku.com/hatamura/) に移った後、今は、特定非営利活動法人 [失敗学会](https://www.shippai.org/shippai/html/index.php) でメンテされています... ・2005.03.24 失 [**敗知識データベース　これはイイ**](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2005/03/post_33.html) | [Permalink](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-9c0a2c.html) [« JPCERT/CCの早貸理事のこと...](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-a7d866.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/) | [欧州サイバーセキュリティ法の改正に向けた動き... (2025.12.09) »](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-8ffa2b.html) [« JPCERT/CCの早貸理事のこと...](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-a7d866.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/) | [欧州サイバーセキュリティ法の改正に向けた動き... (2025.12.09) »](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-8ffa2b.html) # CSET AI危害メカニズム報告書：AIインシデントからの教訓 ## 要約（3行まとめ） - 米国CSETは、AIインシデントデータベース(AIID)の1200件超のデータを分析し、AIによる危害を「意図的」と「非意図的」の6つのメカニズムに構造的に分類した報告書を発表しました。 - 危害は「設計による危害」「AIの悪用」「AIシステムへの攻撃」「AIの失敗」「人間の監視の失敗」「統合的な危害」に分けられ、それぞれに異なる対策が提示されています。 - 政策的示唆として、画一的なアプローチの限界、計算能力のみでのリスク予測の不十分さ、包括的なインシデント追跡の重要性を強調し、日本もAIIDへのデータ提供を検討すべきと提言しています。 ## 重要ポイント（技術） - AIによる危害を、意図性と主体によって「設計による危害（開発者）」「AIの悪用（利用者）」「AIシステムへの攻撃（攻撃者）」「AIの失敗（AIシステム）」「人間の監視の失敗（人間）」「統合的な危害（組織・社会）」の6メカニズムに構造的に分類。 - 各メカニズムに対し、典型事例、発生原因、政策・ガバナンス上の論点、主な対策（法規制、輸出管理、ガードレール、利用規約、レッドチーム、堅牢化、テスト、監視、バイアス対策、トレーニング、説明性、影響評価、社会的ガバナンスなど）が具体的に示されている。 - AIインシデントデータベース（AIID）のような包括的なデータ蓄積が、AIがもたらすリスクの識別と対応能力向上に不可欠であると指摘。 ### 重要ポイント（政策/業務） - AIによる危害軽減には画一的なアプローチは機能せず、多様な危害経路に対応した多様な緩和戦略が必要である。特に統合的な危害や人間の監視の失敗には純粋な技術的アプローチでは不十分。 - AIモデルの計算能力だけでは危害発生の傾向を予測するには不十分であり、単一目的のAIシステムや専門的なAIシステムの無責任な設計・展開・使用から生じるリスクにも対処する必要がある。 - 政策立案者や企業は、この構造的分類に基づき、AIのリスク評価とガバナンス戦略を多角的かつ体系的に策定・実施することが求められる。 - 日本もAIIDのようなインシデントデータベースへのデータ提供を検討し、国際的なAIリスクに関する知見共有に貢献することが示唆されている。 ## 既存技術との違い - 従来のAIリスク評価が特定の技術的側面（例：バイアス、精度）や個別のインシデント対応に偏りがちだったのに対し、本報告書は危害の「意図性」「主体」「社会との統合」といった広範な視点から、AIインシデントを体系的に分類・分析している点が異なる。 - 網羅的なインシデントデータベース（AIID）に基づく分析により、経験則や仮説だけでなく、実際のインシデントデータから導き出された知見を提供している。 ## 実務への影響（何が変わるか） - AI開発・運用組織は、自社のAIシステムが引き起こしうる潜在的な危害を、CSETの6分類フレームワークを用いて網羅的に評価し、リスクアセスメントの精度と幅を向上させることが可能になる。 - AIガバナンス体制の構築において、技術的対策だけでなく、法規制遵守、利用規約の整備、従業員トレーニング、影響評価、社会との対話といった非技術的・組織的対策も重視されるようになる。 - AIインシデント発生時、この分類フレームワークが原因分析のガイドとなり、より効果的かつ構造的な再発防止策の策定、および関係者への説明責任の明確化に役立つ。 ## 次アクション（試す/読む/実装） - CSETの原文報告書「The Mechanisms of AI Harm: Lessons Learned from AI Incidents」を熟読し、詳細な分類と対策例を理解する。 - AI Incident Database (AIID) のウェブサイトを確認し、実際のインシデント事例を調査することで、潜在的なリスクの具体例を学ぶ。 - 自社のAIシステムやプロジェクトに対し、CSETの6つの危害メカニズムに基づいた簡易的なリスク評価を実施してみる。 ## 今後必要な知識・スキル（計画/構築/運用） - AIリスクアセスメントのフレームワーク（例：本報告書の分類、EU AI Act、NIST AI RMFなど）に関する深い知識。 - AI倫理、法規制、国際的なAIガバナンス動向に関する最新の知識。 - AIシステムにおける説明性（XAI）、公平性、堅牢性など、信頼できるAI（Trustworthy AI）を実現するための技術的・非技術的スキル。 - AIインシデント発生時の原因究明、対応、報告、および学習サイクルを回すためのインシデントレスポンスとフォレンジックのスキル。 ## 関連キーワード（5〜10個） CSET, AIID, AI危害メカニズム, AIリスクアセスメント, AIガバナンス, 意図的危害, 非意図的危害, 失敗知識データベース, ガードレール, レッドチーム # CSET AI危害メカニズム報告書：AIインシデントからの教訓 ## 3行まとめ（要約） - 米国CSETは、AIインシデントデータベース(AIID)の1200件超のデータを分析し、AIによる危害を「意図的」と「非意図的」の6つのメカニズムに構造的に分類した報告書を発表しました。 - 危害は「設計による危害」「AIの悪用」「AIシステムへの攻撃」「AIの失敗」「人間の監視の失敗」「統合的な危害」に分けられ、それぞれに異なる対策が提示されています。 - 政策的示唆として、画一的なアプローチの限界、計算能力のみでのリスク予測の不十分さ、包括的なインシデント追跡の重要性を強調し、日本もAIIDへのデータ提供を検討すべきと提言しています。 ## 重要ポイント ### 重要ポイント（計画/業務） - AIによる危害軽減には画一的なアプローチは機能せず、多様な危害経路に対応した多様な緩和戦略が必要である。特に統合的な危害や人間の監視の失敗には純粋な技術的アプローチでは不十分。 - AIモデルの計算能力だけでは危害発生の傾向を予測するには不十分であり、単一目的のAIシステムや専門的なAIシステムの無責任な設計・展開・使用から生じるリスクにも対処する必要がある。 - 政策立案者や企業は、この構造的分類に基づき、AIのリスク評価とガバナンス戦略を多角的かつ体系的に策定・実施することが求められる。 - 日本もAIIDのようなインシデントデータベースへのデータ提供を検討し、国際的なAIリスクに関する知見共有に貢献することが示唆されている。 ### 重要ポイント（技術） - AIによる危害を、意図性と主体によって「設計による危害（開発者）」「AIの悪用（利用者）」「AIシステムへの攻撃（攻撃者）」「AIの失敗（AIシステム）」「人間の監視の失敗（人間）」「統合的な危害（組織・社会）」の6メカニズムに構造的に分類。 - 各メカニズムに対し、典型事例、発生原因、政策・ガバナンス上の論点、主な対策（法規制、輸出管理、ガードレール、利用規約、レッドチーム、堅牢化、テスト、監視、バイアス対策、トレーニング、説明性、影響評価、社会的ガバナンスなど）が具体的に示されている。 - AIインシデントデータベース（AIID）のような包括的なデータ蓄積が、AIがもたらすリスクの識別と対応能力向上に不可欠であると指摘。 ## 既存の業務・技術との違い - 従来のAIリスク評価が特定の技術的側面（例：バイアス、精度）や個別のインシデント対応に偏りがちだったのに対し、本報告書は危害の「意図性」「主体」「社会との統合」といった広範な視点から、AIインシデントを体系的に分類・分析している点が異なる。 - 網羅的なインシデントデータベース（AIID）に基づく分析により、経験則や仮説だけでなく、実際のインシデントデータから導き出された知見を提供している。 ## 実務への影響（何が変わるか） - AI開発・運用組織は、自社のAIシステムが引き起こしうる潜在的な危害を、CSETの6分類フレームワークを用いて網羅的に評価し、リスクアセスメントの精度と幅を向上させることが可能になる。 - AIガバナンス体制の構築において、技術的対策だけでなく、法規制遵守、利用規約の整備、従業員トレーニング、影響評価、社会との対話といった非技術的・組織的対策も重視されるようになる。 - AIインシデント発生時、この分類フレームワークが原因分析のガイドとなり、より効果的かつ構造的な再発防止策の策定、および関係者への説明責任の明確化に役立つ。 ## 次アクション（試す/読む/実装） - CSETの原文報告書「The Mechanisms of AI Harm: Lessons Learned from AI Incidents」を熟読し、詳細な分類と対策例を理解する。 - AI Incident Database (AIID) のウェブサイトを確認し、実際のインシデント事例を調査することで、潜在的なリスクの具体例を学ぶ。 - 自社のAIシステムやプロジェクトに対し、CSETの6つの危害メカニズムに基づいた簡易的なリスク評価を実施してみる。 ## 今後必要な知識・スキル（計画/構築/運用） - AIリスクアセスメントのフレームワーク（例：本報告書の分類、EU AI Act、NIST AI RMFなど）に関する深い知識。 - AI倫理、法規制、国際的なAIガバナンス動向に関する最新の知識。 - AIシステムにおける説明性（XAI）、公平性、堅牢性など、信頼できるAI（Trustworthy AI）を実現するための技術的・非技術的スキル。 - AIインシデント発生時の原因究明、対応、報告、および学習サイクルを回すためのインシデントレスポンスとフォレンジックのスキル。 ## 関連キーワード（5〜10個） CSET, AIID, AI危害メカニズム, AIリスクアセスメント, AIガバナンス, 意図的危害, 非意図的危害, 失敗知識データベース, ガードレール, レッドチーム # CSET AI危害メカニズム報告書：AIインシデントからの教訓 ## 要約（3行まとめ） - 米国CSETは、AIインシデントデータベース(AIID)の1200件超のデータを分析し、AIによる危害を「意図的」と「非意図的」の6つのメカニズムに構造的に分類した報告書を発表しました。 - 危害は「設計による危害」「AIの悪用」「AIシステムへの攻撃」「AIの失敗」「人間の監視の失敗」「統合的な危害」に分けられ、それぞれに異なる対策が提示されています。 - 政策的示唆として、画一的なアプローチの限界、計算能力のみでのリスク予測の不十分さ、包括的なインシデント追跡の重要性を強調し、日本もAIIDへのデータ提供を検討すべきと提言しています。 ## 重要ポイント ### 重要ポイント（企画/業務） - AIによる危害軽減には画一的なアプローチは機能せず、多様な危害経路に対応した多様な緩和戦略が必要である。特に統合的な危害や人間の監視の失敗には純粋な技術的アプローチでは不十分。 - AIモデルの計算能力だけでは危害発生の傾向を予測するには不十分であり、単一目的のAIシステムや専門的なAIシステムの無責任な設計・展開・使用から生じるリスクにも対処する必要がある。 - 政策立案者や企業は、この構造的分類に基づき、AIのリスク評価とガバナンス戦略を多角的かつ体系的に策定・実施することが求められる。 - 日本もAIIDのようなインシデントデータベースへのデータ提供を検討し、国際的なAIリスクに関する知見共有に貢献することが示唆されている。 ### 重要ポイント（技術） - AIによる危害を、意図性と主体によって「設計による危害（開発者）」「AIの悪用（利用者）」「AIシステムへの攻撃（攻撃者）」「AIの失敗（AIシステム）」「人間の監視の失敗（人間）」「統合的な危害（組織・社会）」の6メカニズムに構造的に分類。 - 各メカニズムに対し、典型事例、発生原因、政策・ガバナンス上の論点、主な対策（法規制、輸出管理、ガードレール、利用規約、レッドチーム、堅牢化、テスト、監視、バイアス対策、トレーニング、説明性、影響評価、社会的ガバナンスなど）が具体的に示されている。 - AIインシデントデータベース（AIID）のような包括的なデータ蓄積が、AIがもたらすリスクの識別と対応能力向上に不可欠であると指摘。 ## 既存の業務・技術との違い - 従来のAIリスク評価が特定の技術的側面（例：バイアス、精度）や個別のインシデント対応に偏りがちだったのに対し、本報告書は危害の「意図性」「主体」「社会との統合」といった広範な視点から、AIインシデントを体系的に分類・分析している点が異なる。 - 網羅的なインシデントデータベース（AIID）に基づく分析により、経験則や仮説だけでなく、実際のインシデントデータから導き出された知見を提供している。 ## 実務への影響（何が変わるか） - AI開発・運用組織は、自社のAIシステムが引き起こしうる潜在的な危害を、CSETの6分類フレームワークを用いて網羅的に評価し、リスクアセスメントの精度と幅を向上させることが可能になる。 - AIガバナンス体制の構築において、技術的対策だけでなく、法規制遵守、利用規約の整備、従業員トレーニング、影響評価、社会との対話といった非技術的・組織的対策も重視されるようになる。 - AIインシデント発生時、この分類フレームワークが原因分析のガイドとなり、より効果的かつ構造的な再発防止策の策定、および関係者への説明責任の明確化に役立つ。 ## 次アクション（試す/読む/実装） - CSETの原文報告書「The Mechanisms of AI Harm: Lessons Learned from AI Incidents」を熟読し、詳細な分類と対策例を理解する。 - AI Incident Database (AIID) のウェブサイトを確認し、実際のインシデント事例を調査することで、潜在的なリスクの具体例を学ぶ。 - 自社のAIシステムやプロジェクトに対し、CSETの6つの危害メカニズムに基づいた簡易的なリスク評価を実施してみる。 ## 今後必要な知見・スキル（計画/構築/運用） ### 経営者・管理者 - AIリスクアセスメントのフレームワーク（例：本報告書の分類、EU AI Act、NIST AI RMFなど）に関する深い知識。 - AI倫理、法規制、国際的なAIガバナンス動向に関する最新の知識。 ### 技術者・実務担当者 - AIシステムにおける説明性（XAI）、公平性、堅牢性など、信頼できるAI（Trustworthy AI）を実現するための技術的・非技術的スキル。 - AIインシデント発生時の原因究明、対応、報告、および学習サイクルを回すためのインシデントレスポンスとフォレンジックのスキル。 ## 関連キーワード（5〜10個） CSET, AIID, AI危害メカニズム, AIリスクアセスメント, AIガバナンス, 意図的危害, 非意図的危害, 失敗知識データベース, ガードレール, レッドチーム # CSET AI危害メカニズム報告書：AIインシデントからの教訓 ## 要約（3行まとめ） - 米国CSETは、AIインシデントデータベース(AIID)の1200件超のデータを分析し、AIによる危害を「意図的」と「非意図的」の6つのメカニズムに構造的に分類した報告書を発表しました。 - 危害は「設計による危害」「AIの悪用」「AIシステムへの攻撃」「AIの失敗」「人間の監視の失敗」「統合的な危害」に分けられ、それぞれに異なる対策が提示されています。 - 政策的示唆として、画一的なアプローチの限界、計算能力のみでのリスク予測の不十分さ、包括的なインシデント追跡の重要性を強調し、日本もAIIDへのデータ提供を検討すべきと提言しています。 ## 重要ポイント ### 重要ポイント（企画/業務） - AIによる危害軽減には画一的なアプローチは機能せず、多様な危害経路に対応した多様な緩和戦略が必要である。特に統合的な危害や人間の監視の失敗には純粋な技術的アプローチでは不十分。 - AIモデルの計算能力だけでは危害発生の傾向を予測するには不十分であり、単一目的のAIシステムや専門的なAIシステムの無責任な設計・展開・使用から生じるリスクにも対処する必要がある。 - 政策立案者や企業は、この構造的分類に基づき、AIのリスク評価とガバナンス戦略を多角的かつ体系的に策定・実施することが求められる。 - 日本もAIIDのようなインシデントデータベースへのデータ提供を検討し、国際的なAIリスクに関する知見共有に貢献することが示唆されている。 ### 重要ポイント（技術） - AIによる危害を、意図性と主体によって「設計による危害（開発者）」「AIの悪用（利用者）」「AIシステムへの攻撃（攻撃者）」「AIの失敗（AIシステム）」「人間の監視の失敗（人間）」「統合的な危害（組織・社会）」の6メカニズムに構造的に分類。 - 各メカニズムに対し、典型事例、発生原因、政策・ガバナンス上の論点、主な対策（法規制、輸出管理、ガードレール、利用規約、レッドチーム、堅牢化、テスト、監視、バイアス対策、トレーニング、説明性、影響評価、社会的ガバナンスなど）が具体的に示されている。 - AIインシデントデータベース（AIID）のような包括的なデータ蓄積が、AIがもたらすリスクの識別と対応能力向上に不可欠であると指摘。 ## 既存の業務・技術との違い - 従来のAIリスク評価が特定の技術的側面（例：バイアス、精度）や個別のインシデント対応に偏りがちだったのに対し、本報告書は危害の「意図性」「主体」「社会との統合」といった広範な視点から、AIインシデントを体系的に分類・分析している点が異なる。 - 網羅的なインシデントデータベース（AIID）に基づく分析により、経験則や仮説だけでなく、実際のインシデントデータから導き出された知見を提供している。 ## 実務への影響（何が変わるか） - AI開発・運用組織は、自社のAIシステムが引き起こしうる潜在的な危害を、CSETの6分類フレームワークを用いて網羅的に評価し、リスクアセスメントの精度と幅を向上させることが可能になる。 - AIガバナンス体制の構築において、技術的対策だけでなく、法規制遵守、利用規約の整備、従業員トレーニング、影響評価、社会との対話といった非技術的・組織的対策も重視されるようになる。 - AIインシデント発生時、この分類フレームワークが原因分析のガイドとなり、より効果的かつ構造的な再発防止策の策定、および関係者への説明責任の明確化に役立つ。 ## 次アクション（試す/読む/実装） - CSETの原文報告書「The Mechanisms of AI Harm: Lessons Learned from AI Incidents」を熟読し、詳細な分類と対策例を理解する。 - AI Incident Database (AIID) のウェブサイトを確認し、実際のインシデント事例を調査することで、潜在的なリスクの具体例を学ぶ。 - 自社のAIシステムやプロジェクトに対し、CSETの6つの危害メカニズムに基づいた簡易的なリスク評価を実施してみる。 ## 今後必要な知見・スキル（計画/構築/運用） ### 経営者 - AIリスクアセスメントのフレームワーク（例：本報告書の分類、EU AI Act、NIST AI RMFなど）に関する深い知識。 - AI倫理、法規制、国際的なAIガバナンス動向に関する最新の知識。 ### 技術者・実務担当者 - AIシステムにおける説明性（XAI）、公平性、堅牢性など、信頼できるAI（Trustworthy AI）を実現するための技術的・非技術的スキル。 - AIインシデント発生時の原因究明、対応、報告、および学習サイクルを回すためのインシデントレスポンスとフォレンジックのスキル。 ## 関連キーワード（5〜10個） CSET, AIID, AI危害メカニズム, AIリスクアセスメント, AIガバナンス, 意図的危害, 非意図的危害, 失敗知識データベース, ガードレール, レッドチーム申し訳ありませんが、要約する本文が提供されていません。本文をご提供いただければ、指定のMarkdown形式と見出し構造に従って要約いたします。以下は、提供された技術記事の要約です。 # CSET AI危害メカニズム報告書：AIインシデントからの教訓 ## 要約（3行まとめ） - 米国CSETは、AIインシデントデータベース(AIID)の1200件超のデータを分析し、AIによる危害を「意図的」と「非意図的」の6つのメカニズムに構造的に分類した報告書を発表しました。 - 危害は「設計による危害」「AIの悪用」「AIシステムへの攻撃」「AIの失敗」「人間の監視の失敗」「統合的な危害」に分けられ、それぞれに異なる対策が提示されています。 - 政策的示唆として、画一的なアプローチの限界、計算能力のみでのリスク予測の不十分さ、包括的なインシデント追跡の重要性を強調し、日本もAIIDへのデータ提供を検討すべきと提言しています。 ## 重要ポイント ### 重要ポイント（企画/業務） - AIによる危害軽減には画一的なアプローチは機能せず、多様な危害経路に対応した多様な緩和戦略が必要である。特に統合的な危害や人間の監視の失敗には純粋な技術的アプローチでは不十分。 - AIモデルの計算能力だけでは危害発生の傾向を予測するには不十分であり、単一目的のAIシステムや専門的なAIシステムの無責任な設計・展開・使用から生じるリスクにも対処する必要がある。 - 政策立案者や企業は、この構造的分類に基づき、AIのリスク評価とガバナンス戦略を多角的かつ体系的に策定・実施することが求められる。 - 日本もAIIDのようなインシデントデータベースへのデータ提供を検討し、国際的なAIリスクに関する知見共有に貢献することが示唆されている。 ### 重要ポイント（技術） - AIによる危害を、意図性と主体によって「設計による危害（開発者）」「AIの悪用（利用者）」「AIシステムへの攻撃（攻撃者）」「AIの失敗（AIシステム）」「人間の監視の失敗（人間）」「統合的な危害（組織・社会）」の6メカニズムに構造的に分類。 - 各メカニズムに対し、典型事例、発生原因、政策・ガバナンス上の論点、主な対策（法規制、輸出管理、ガードレール、利用規約、レッドチーム、堅牢化、テスト、監視、バイアス対策、トレーニング、説明性、影響評価、社会的ガバナンスなど）が具体的に示されている。 - AIインシデントデータベース（AIID）のような包括的なデータ蓄積が、AIがもたらすリスクの識別と対応能力向上に不可欠であると指摘。 ## 既存の業務・技術との違い - 従来のAIリスク評価が特定の技術的側面（例：バイアス、精度）や個別のインシデント対応に偏りがちだったのに対し、本報告書は危害の「意図性」「主体」「社会との統合」といった広範な視点から、AIインシデントを体系的に分類・分析している点が異なる。 - 網羅的なインシデントデータベース（AIID）に基づく分析により、経験則や仮説だけでなく、実際のインシデントデータから導き出された知見を提供している。 ## 実務への影響（何が変わるか） - AI開発・運用組織は、自社のAIシステムが引き起こしうる潜在的な危害を、CSETの6分類フレームワークを用いて網羅的に評価し、リスクアセスメントの精度と幅を向上させることが可能になる。 - AIガバナンス体制の構築において、技術的対策だけでなく、法規制遵守、利用規約の整備、従業員トレーニング、影響評価、社会との対話といった非技術的・組織的対策も重視されるようになる。 - AIインシデント発生時、この分類フレームワークが原因分析のガイドとなり、より効果的かつ構造的な再発防止策の策定、および関係者への説明責任の明確化に役立つ。 ## 次アクション（試す/読む/実装） - CSETの原文報告書「The Mechanisms of AI Harm: Lessons Learned from AI Incidents」を熟読し、詳細な分類と対策例を理解する。 - AI Incident Database (AIID) のウェブサイトを確認し、実際のインシデント事例を調査することで、潜在的なリスクの具体例を学ぶ。 - 自社のAIシステムやプロジェクトに対し、CSETの6つの危害メカニズムに基づいた簡易的なリスク評価を実施してみる。 ## 今後必要な知見・スキル（計画/構築/運用） ### 経営者 - AIリスクアセスメントのフレームワーク（例：本報告書の分類、EU AI Act、NIST AI RMFなど）に関する深い知識。 - AI倫理、法規制、国際的なAIガバナンス動向に関する最新の知識。 ### システム構築者・運用者 - AIシステムにおける説明性（XAI）、公平性、堅牢性など、信頼できるAI（Trustworthy AI）を実現するための技術的・非技術的スキル。 - AIインシデント発生時の原因究明、対応、報告、および学習サイクルを回すためのインシデントレスポンスとフォレンジックのスキル。 ### 実務担当者 - AIシステムにおける説明性（XAI）、公平性、堅牢性など、信頼できるAI（Trustworthy AI）を実現するための技術的・非技術的スキル。 - AIインシデント発生時の原因究明、対応、報告、および学習サイクルを回すためのインシデントレスポンスとフォレンジックのスキル。 ## 関連キーワード（5〜10個） CSET, AIID, AI危害メカニズム, AIリスクアセスメント, AIガバナンス, 意図的危害, 非意図的危害, 失敗知識データベース, ガードレール, レッドチーム