【TextGenerator】米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 (2025.10)

--- > [!NOTE] 目次 ```table-of-contents title: minLevel: 0 maxLevel: 0 includeLinks: true ``` --- > [!NOTE] リスト掲載用文字列 - [米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 (2025.10)](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-9c0a2c.html)【まるちゃんの情報セキュリティ気まぐれ日記】(2025年01月08日) --- > [!NOTE] この記事の要約（箇条書き） - **CSETのAI危害メカニズムに関する報告書を紹介** - 米国のCenter for Security and Emerging Technology (CSET) が発表。 - AIインシデントデータベース (AIID) に蓄積された1200件超のデータを分析基盤とする。 - **危害の構造的分類** - **意図的危害 (3種)** - **設計による危害 (Harm by Design):** 有害な目的で設計されたAIによる危害（主体：開発者）。対策例：法規制、輸出管理。 - **AIの悪用 (AI Misuse):** 開発者の意図に反するAIの使用（主体：利用者）。対策例：ガードレール、利用規約。 - **AIシステムへの攻撃 (Attacks on AI Systems):** サイバー攻撃によるAIの行動・不作為（主体：攻撃者）。対策例：レッドチーム、堅牢化。 - **非意図的危害 (3種)** - **AIの失敗 (AI Failures):** AIのエラー、誤動作、バイアス（主体：AIシステム）。対策例：テスト、監視、バイアス対策。 - **人間の監視の失敗 (Failures of Human Oversight):** 人間と機械のチームの不機能（主体：人間）。対策例：トレーニング、説明性。 - **統合的な危害 (Integration Harm):** 特定の文脈での展開が意図せぬ結果を生む（主体：組織・社会）。対策例：影響評価、社会的ガバナンス。 - **政策への示唆** 1. 危害軽減への画一的なアプローチは機能しない。 2. 計算能力で測られるモデルの能力は、危害発生の傾向を予測する上で不十分である。 3. 包括的なインシデント追跡が不可欠である。 - **著者の見解** - AIIDは日本の失敗知識データベースのAI版のようであり、今後さらに充実していくと期待。 - 日本もAIIDへのデータ提供を検討すべきだと示唆。 > [!NOTE] 要約おわり --- [« JPCERT/CCの早貸理事のこと...](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-a7d866.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/) | [欧州サイバーセキュリティ法の改正に向けた動き... (2025.12.09) »](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-8ffa2b.html) ## 2026.01.07 ### 米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 (2025.10) こんにちは、丸山満彦です。昨年やり残していたことをしばらく...サイバー空間と新興技術に関する安全保障政策を主導する組織である米国のワシントンDCにある Center for Security and Emerging Technology:CSET（安全保障・新興技術センター）\[[wikipedia](https://en.wikipedia.org/wiki/Center_for_Security_and_Emerging_Technology)\]から公表されている報告書をいくつか紹介します... 非常に興味深い内容と思います。この報告書の分析のもととなった、 [AI Incident Database (AIID)](https://incidentdatabase.ai/) では、現在は1200件を超えるAIインシデントデータが蓄積されています...それぞれの内容の精度はどうなのか分かりませんが、これほどのデータが集まっているのはそれなりの価値がありそうです。昔、畑村先生（）がつくった [失敗知識データベース](https://www.shippai.org/fkd/index.php) のAI版ですかね... 内容ですが、危害を構造的に整理したことから、危害の種類から、対策についても構造的に分析できるようになっています。これは、政策を考える上、企業が対策を考える上でも有益な整理だと思いました。さらに、この整理を踏まえて、AIIDの内容をより精査していくことでより良い対策ができるような気がします。。。この報告書では、危害を意図的な危害３、非意図的な危害３の合計６に分類しています。 <table><tbody><tr><td width="100">意図性</td><td width="133">Mechanism</td><td width="133">メカニズム</td><td width="400">概要</td><td width="100">主体</td></tr><tr><td rowspan="3" width="100">意図的</td><td width="133">Harm by Design</td><td>設計による危害</td><td>有害な目的で設計・開発されたAIシステムによる危害</td><td width="100">開発者</td></tr><tr><td width="133">AI Misuse</td><td>AIの悪用</td><td>開発者の意図に反する危害を及ぼすためのAIシステムの使用</td><td width="100">利用者</td></tr><tr><td width="133">Attacks on AI Systems</td><td>AIシステムへの攻撃</td><td>サイバー攻撃によって引き起こされたAIの行動または（不）作為による危害</td><td width="100">攻撃者</td></tr><tr><td rowspan="3" width="100">非意図的</td><td width="133">AI Failures</td><td>AIの失敗</td><td>AIのエラー、誤動作、またはバイアスによって引き起こされる危害</td><td width="100">AIシステム</td></tr><tr><td width="133">Failures of Human Oversight</td><td>人間の監視の失敗</td><td>間と機械のチームが機能しなかった結果生じる危害</td><td width="100">人間</td></tr><tr><td width="133">Integration Harm</td><td>統合的な危害</td><td>特定の文脈での展開が意図せぬ結果として引き起こす危害</td><td width="100">組織・社会</td></tr></tbody></table> 対応... <table width="100%"><tbody><tr><td width="133">意図性</td><td width="133">メカニズム</td><td width="400">典型的な事例</td><td width="167">発生原因</td><td width="233">政策・ガバナンス上の論点</td><td width="233">主な対策</td></tr><tr><td rowspan="3" width="133">意図的</td><td>設計による危害</td><td width="400">監視AI、兵器AI、ディープフェイク生成ツール</td><td width="167">開発段階で害を目的化</td><td width="233">禁止・規制の対象、国際ルール必要</td><td width="233">法規制、輸出管理、開発許可制</td></tr><tr><td>AIの悪用</td><td width="400">フィッシング生成、マルウェア生成、詐欺支援</td><td width="167">汎用モデルの悪用</td><td width="233">開発者責任の範囲、利用者規制の難しさ</td><td width="233">ガードレール、利用規約、監査ログ</td></tr><tr><td>AIシステムへの攻撃</td><td width="400">Jailbreak、データ汚染、モデル盗難</td><td width="167">AIの脆弱性、攻撃耐性不足</td><td width="233">AIセキュリティの標準化不足</td><td width="233">レッドチーム、堅牢化、サイバー防御</td></tr><tr><td rowspan="3" width="133">非意図的</td><td>AIの失敗</td><td width="400">誤認識、バイアス、誤判断</td><td width="167">データ品質、モデル限界</td><td width="233">評価指標の不備、透明性の欠如</td><td width="233">テスト、監視、バイアス対策</td></tr><tr><td>人間の監視の失敗</td><td width="400">自動運転事故、医療AIの誤用</td><td width="167">過信、理解不足、介入遅れ</td><td width="233">人間中心設計、教育訓練の不足</td><td width="233">トレーニング、説明性、介入権限</td></tr><tr><td>統合的な危害</td><td width="400">監視強化、差別の制度化、業務崩壊</td><td width="167">社会制度との不整合</td><td width="233">モデル性能ではなく制度設計の問題</td><td width="233">影響評価、社会的ガバナンス、制度調整</td></tr></tbody></table> 「設計による危害」については、社会で受け入れられない危害を生み出すAIを法的に禁止するというアプローチが有用となりうる。EUは禁止領域を法制化しましたね...日本も社会で受け入れられない危害を生み出すAIの開発（利用も）は明確に禁止すべきですね...ただ、そのときに、社会で受け入れられない危害というのはどういうものか？というのがある程度明確にならないと新たに禁止することを決めるのは難しい。「AIの悪用」はソフトローによる事前のガイドと、説明責任の明確化というのが考えられそうです。これは日本がとっているアプローチですね...利用に重きを置いているからそうなるような気がしました。この報告書では政策に対する示唆として次の３つを挙げていますね... | **1\. A one-size-fits-all approach to harm mitigation will not work.** | **1\. 危害軽減への画一的なアプローチは機能しない。** | | --- | --- | | The pathways to harm are diverse, as this report illustrates, and require equally diverse mitigation strategies. Purely technical approaches will fall short, especially in addressing integration harms and failures of human oversight. | 本報告書が示す通り、危害に至る経路は多様であり、同様に多様な緩和戦略を必要とする。純粋に技術的なアプローチでは不十分であり、特に統合的な危害や人間の監視の失敗に対処する上で限界がある。 | | **2\. Model capabilities, as proxied by computing power, are an inadequate predictor for the propensity to do harm.** | **2\. 計算能力で測られるモデルの能力は、危害発生の傾向を予測する上で不十分である。** | | This report showcases many examples of single-purpose AI systems being implicated in harm. Concentrating risk mitigation efforts on advanced AI systems would fail to address the very real risks stemming from the irresponsible design, deployment, and use of specialized AI systems. | 本報告書は、単一目的のAIシステムが危害に関与した事例を数多く示している。高度なAIシステムにリスク緩和策を集中させても、専門的なAIシステムの無責任な設計・展開・使用から生じる現実的なリスクには対処できない。 | | **3\. Comprehensive incident tracking is necessary to enhance our capacity to identify and respond to risks posed by AI.** | **3\. AIがもたらすリスクを識別し対応する能力を高めるには、包括的なインシデント追跡が不可欠である。** | | While implementing broad, sociotechnical mitigation strategies can significantly reduce the occurrence of harm from AI, it will not prevent incidents entirely. As AI innovation reveals new capabilities with new failure modes, deployers design new use cases, and nefarious actors find new ways to attack and misuse AI systems, new harms will emerge. Agile responses and rapid adaptation of mitigating approaches, enabled by effective learning from incident reporting, are necessary to keep pace with technological innovation. | 広範な社会技術的緩和策を実施すればAIによる被害発生を大幅に減らせるが、インシデントを完全に防ぐことはできない。 AIの革新が新たな機能と新たな故障モードを明らかにし、展開者が新たな利用ケースを設計し、悪意ある主体がAIシステムを攻撃・悪用する新たな方法を見出すにつれ、新たな被害が発生する。技術革新に追いつくためには、インシデント報告からの効果的な学習によって可能となる、機敏な対応と緩和策の迅速な適応が必要である。 | これから、AIIDはより充実してくると思うので、見ておくと良いかもですし、日本からもどんどんデータを入れていけば良いように思いました... ● [**CSET**](https://cset.georgetown.edu/) ・2025.10 [**The Mechanisms of AI Harm: Lessons Learned from AI Incidents**](https://cset.georgetown.edu/publication/the-mechanisms-of-ai-harm-lessons-learned-from-ai-incidents/) ・\[[PDF](https://cset.georgetown.edu/wp-content/uploads/CSET-The-Mechanisms-of-AI-Harm.pdf)\] [![20260106-55732](https://maruyama-mitsuhiko.cocolog-nifty.com/security/images/20260106-55732.png "20260106-55732")](https://cset.georgetown.edu/wp-content/uploads/CSET-The-Mechanisms-of-AI-Harm.pdf) ・\[[DOCX](http://maruyama-mitsuhiko.cocolog-nifty.com/security/files/520csetthemechanismsofaiharm20ja.docx)\]\[[PDF](http://maruyama-mitsuhiko.cocolog-nifty.com/security/files/520csetthemechanismsofaiharm20ja.pdf)\] 仮訳 --- ● **まるちゃんの情報セキュリティ気まぐれ日記** ・2011.03.29 [**これも仕分けられたん？　「失敗知識データベース」サービス終了**](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2011/03/post-1f88.html) ちなみに、 [失敗知識データベース](https://www.shippai.org/fkd/index.php) は、 [畑村創造工学研究所](http://www.sozogaku.com/hatamura/) に移った後、今は、特定非営利活動法人 [失敗学会](https://www.shippai.org/shippai/html/index.php) でメンテされています... ・2005.03.24 失 [**敗知識データベース　これはイイ**](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2005/03/post_33.html) | [Permalink](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-9c0a2c.html) [« JPCERT/CCの早貸理事のこと...](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-a7d866.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/) | [欧州サイバーセキュリティ法の改正に向けた動き... (2025.12.09) »](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-8ffa2b.html) [« JPCERT/CCの早貸理事のこと...](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-a7d866.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/) | [欧州サイバーセキュリティ法の改正に向けた動き... (2025.12.09) »](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/01/post-8ffa2b.html) ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ # 【TextGenerator】米国 CSET AIによる被害のメカニズム - AIインシデントから得た教訓 ## 3行まとめ - 米国CSETがAIインシデントデータベース(AIID)の1200件超の分析に基づき、AIによる危害を6つのメカニズムに構造的に分類した報告書を公開しました。 - 危害は「意図的（設計、悪用、攻撃）」と「非意図的（失敗、監視失敗、統合）」に分けられ、それぞれに異なる対策アプローチが示されています。 - 政策提言として、画一的対策の限界、計算能力のみでの危害予測の不十分さ、包括的なインシデント追跡の重要性が強調されています。 ## 重要ポイント（技術） - AIによる危害を「意図的危害（Harm by Design, AI Misuse, Attacks on AI Systems）」と「非意図的危害（AI Failures, Failures of Human Oversight, Integration Harm）」の計6種類に構造的に分類し、それぞれの主体と典型事例、主な対策を明確に提示しています。 - AIIDのような包括的なインシデントデータベースが、AIリスクを識別し、効果的な対策を策定・適応するための学習基盤として不可欠であると指摘しています。 ## 既存技術との違い - 従来の個別のAIリスク評価や対策ではなく、AIインシデントの体系的なデータベース（AIID）を基盤として、危害発生メカニズムを網羅的かつ構造的に分類している点が新しいアプローチです。 - 技術的エラーだけでなく、人間とAIの協調不全による「人間の監視の失敗」や、社会システムとの相互作用による「統合的な危害」といった、より広範な非技術的側面を危害メカニズムとして明確に定義し、対策に組み込んでいる点が特徴です。 ## 実務への影響（何が変わるか） - AI開発・運用組織は、自社のAIシステムに潜在する危害を6つのメカニズムに照らして網羅的に評価し、より具体的で多角的なリスク軽減策を策定できるようになります。 - AIのリスク評価において、モデルの計算能力や性能だけでなく、設計目的、利用シナリオ、人間との協調、社会システムへの統合といった幅広い視点での検討が必須となります。 - AIインシデント発生時には、単なる技術的エラーだけでなく、人間側の運用ミスや社会システムとの不整合といった要因も分析対象に含め、複合的な視点での根本原因分析が求められるようになります。 ## 次アクション（試す/読む/実装） - CSETの「The Mechanisms of AI Harm」報告書原本を読み込み、自社のAIシステムに潜在する危害メカニズムと対策の具体例を検討する。 - AIID (AI Incident Database) を参照し、類似のインシデント事例から自社AIのリスク評価と対策に活かせる教訓を学ぶ。 - 社内でAIインシデント発生時の報告・分析プロセスを構築または改善し、危害メカニズムに基づいた分類と学習を促進する。 ## 関連キーワード（5〜10個） AI危害メカニズム、AIインシデントデータベース (AIID)、CSET、AIガバナンス、AIリスクマネジメント、意図的危害、非意図的危害、失敗知識データベース、AIセキュリティ、AI倫理＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝