---
> [!NOTE] 目次
```table-of-contents
title:
minLevel: 0
maxLevel: 0
includeLinks: true
```
---
> [!NOTE] リスト掲載用文字列
- [欧州 ETSI 人工知能のセキュリティ確保（SAI）；AIモデル及びシステムに対する基本サイバーセキュリティ要件 (2026.01.15)](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/03/post-c3e27c.html)【まるちゃんの情報セキュリティ気まぐれ日記】(2026年01月15日)
---
> [!NOTE] この記事の要約（箇条書き）
- 「まるちゃんの情報セキュリティ気まぐれ日記」にて、丸山満彦氏が欧州ETSIのAIセキュリティ標準「ETSI EN 304 223」について解説。
- 同標準は、AIモデル及びシステムに対する基本サイバーセキュリティ要件を提供する、世界で初めて適用可能な欧州標準（EN）である。
- データポイズニングやプロンプトインジェクションなど、AI特有のサイバーセキュリティ課題に対処するための強固な枠組みを確立する。
- 安全な設計、開発、展開、保守、ライフサイクル終了の5つのフェーズで構成される13の原則と要件を定義している。
- この標準は、生成AIを含む深層ニューラルネットワークを組み込んだAIシステムの実世界での展開を対象としている。
- 今後、生成AIに特化した技術報告書ETSI TR 104 159が公開される予定。
> [!NOTE] 要約おわり
---
[« 欧州委員会 AI生成コンテンツの表示・ラベル付けに関する行動規範のドラフト第2版 (2025.03.05)](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/03/post-ce93b0.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/)
## 2026.03.13
### 欧州 ETSI 人工知能のセキュリティ確保（SAI）；AIモデル及びシステムに対する基本サイバーセキュリティ要件 (2026.01.15)
こんにちは、丸山満彦です。
ETSI 人工知能のセキュリティ確保（SAI）；AIモデル及びシステムに対する基本サイバーセキュリティ要件が公表されていました...
13の原則...
| **AI Security Principles and Provisions** | **AIセキュリティ原則と規定** |
| --- | --- |
| **1 Secure Design** | **1 安全な設計** |
| 1.1 Principle 1: Raise awareness of AI security threats and risks | 1.1 原則1：AIセキュリティ上の脅威とリスクに対する認識を高める |
| 1.2 Principle 2: Design the AI system for security as well as functionality and performance | 1.2 原則2：機能性や性能と同様に、セキュリティを考慮した AI システムの設計 |
| 1.3 Principle 3: Evaluate the threats and manage the risks to the AI system | 1.3 原則3：AIシステムに対する脅威を評価し、リスクマネジメントを行う |
| 1.4 Principle 4: Enable human responsibility for AI systems | 1.4 原則4：AIシステムに対する人間の責任を可能にする |
| **2 Secure Development** | **2 セキュア開発** |
| 2.1 Principle 5: Identify, track and protect the assets | 2.1 原則 5：資産を識別、追跡、防御する |
| 2.2 Principle 6: Secure the infrastructure | 2.2 原則 6: インフラの保護 |
| 2.3 Principle 7: Secure the supply chain | 2.3 原則 7：サプライチェーンの保護 |
| 2.4 Principle 8: Document data, models and prompts | 2.4 原則8：データ、モデル、プロンプトを文書化する |
| 2.5 Principle 9: Conduct appropriate testing and evaluation | 2.5 原則 9: 適切なテストと評価の実施 |
| **3 Secure Deployment** | **3 安全な展開** |
| 3.1 Principle 10: Communication and processes associated with End-users and Affected Entities | 3.1 原則 10: エンドユーザーおよび影響を受ける事業体に関連するコミュニケーションとプロセス |
| **4 Secure Maintenance** | **4 安全な保守** |
| 4.1 Principle 11: Maintain regular security updates, patches and mitigations | 4.1 原則 11: 定期的なセキュリティ更新、パッチ適用、緩和策の実施 |
| 4.2 Principle 12: Monitor the system's behaviour | 4.2 原則12：システムの動作を監視する |
| 5 Secure End of Life | 5 安全なライフサイクル終了 |
| 5.1 Principle 13: Ensure proper data and model disposal | 5.1 原則 13: 適切なデータおよびモデルの廃棄を確保する |
● **ETSI**
・2026.01.15 [**ETSI releases world-leading standard for securing AI**](https://www.etsi.org/newsroom/press-releases/2627-etsi-releases-world-leading-standard-for-securing-ai)
| **ETSI releases world-leading standard for securing AI** | **ETSIがAIのセキュリティ確保に向けた世界最先端の標準を発表** |
| --- | --- |
| Today ETSI announces the publication of its new [standard](https://www.etsi.org/deliver/etsi_en/304200_304299/304223/02.01.01_60/en_304223v020101p.pdf), ETSI EN 304 223, that provides baseline cybersecurity requirements for AI models and systems. Building on the foundational work set out in its recent Technical Specification, it is a first globally applicable European Standard (EN) for AI cybersecurity. The EN has been extensively reviewed, and formally approved by National Standards Organisations voting, giving it a broader international scope and strengthening its authority across global markets. | 本日、ETSIは新たな標準規格「ETSI EN 304 223」の公表を発表した。これはAIモデルおよびシステムに対するサイバーセキュリティの基盤要件を規定するものである。最近の技術仕様で示された基礎的な取り組みを基に構築された本規格は、AIサイバーセキュリティ分野において世界で初めて適用可能な欧州標準（EN）となる。本ENは各国標準化機関による投票を経て正式に承認され、広範な国際的適用範囲と世界市場における権威性を強化している。 |
| [ETSI EN 304 223](https://www.etsi.org/deliver/etsi_en/304200_304299/304223/02.01.01_60/en_304223v020101p.pdf) establishes a robust framework to shield AI systems from growing and increasingly sophisticated cyber threats. Reinforcing the principles introduced in ETSI TS 104 223, the new standard guarantees a mature, structured and lifecycle-based set of baseline security requirements for AI models and systems. | ETSI EN 304 223は、増大し高度化するサイバー脅威からAIシステムを保護する強固な枠組みを確立する。ETSI TS 104 223で導入された原則を強化し、AIモデル及びシステム向けの成熟した構造化ライフサイクルベースの基盤セキュリティ要件を保証する標準。 |
| The standard acknowledges that AI represents a distinct cybersecurity challenge that traditional software has not offered. Traditional software introduced the world to the need for cybersecurity awareness. Today the risks emerging from AI require cyber defences that account for these new and unique characteristics. These risks include data poisoning, model obfuscation, indirect prompt injection, and vulnerabilities created by complex data management and operational practices. The ETSI EN reconciles established best practices in cybersecurity with targeted, novel measures designed specifically for AI systems. | 本標準は、AIが従来のソフトウェアでは生じなかった独自のサイバーセキュリティ課題をもたらすことを認識している。従来型ソフトウェアはサイバーセキュリティ意識の必要性を世に示したが、今日AIから生じるリスクには、こうした新奇かつ特異な特性を考慮した防御策が求められる。リスクにはデータ・ポイズニング、モデル・難読化、間接的プロンプト・インジェクション、複雑なデータ管理・運用慣行による脆弱性などが含まれる。ETSI ENは確立されたサイバーセキュリティのベストプラクティスと、AIシステム向けに特別に設計された標的型の新規対策を調和させている。 |
| Adopting a whole life-cycle approach, ETSI EN 304 223 defines 13 principles and requirements across five phases: secure design, secure development, secure deployment, secure maintenance, and secure end of life. Each one of these phases align with internationally recognised AI lifecycle models, ensuring consistency and interoperability with existing standards and guidance. Relevant standards and publications are referenced at the start of each principle to support implementation and harmonisation within the wider AI ecosystem. | 全ライフサイクルアプローチを採用したETSI EN 304 223は、5つのフェーズ（セキュア設計、セキュア開発、セキュア展開、セキュア保守、セキュア廃棄）にわたり13の原則と要件を定義する。各フェーズは国際的に認知されたAIライフサイクルモデルと整合し、既存の標準やガイダンスとの一貫性と相互運用性を確保する。各原則の冒頭では、関連標準や出版物を参照し、広範なAIエコシステム内での実装と調和を支援している。 |
| The EN will be instrumental for stakeholders throughout the AI supply chain, from vendors to integrators and operators, and will provide them with a clear and logical baseline for AI security. Its scope covers AI systems incorporating deep neural networks, including generative AI, and is developed for systems intended for real-world deployments. It reflects the expertise of international organisations, government bodies, and the cybersecurity and AI communities whose contributions ensure this collaborative, cross‑disciplinary effort is both globally relevant and practically applicable across diverse sectors. | 本EN標準は、プロバイダからインテグレーター、オペレーターに至るAIサプライチェーン全体の関係者にとって有用であり、AIセキュリティの明確かつ論理的な基盤を提供する。その適用範囲は、生成的AIを含む深層ニューラルネットワークを組み込んだAIシステムをカバーし、実世界での展開を目的としたシステム向けに開発されている。国際機関、政府団体、サイバーセキュリティおよびAIコミュニティの専門知識を反映しており、これらの貢献により、この協調的かつ学際的な取り組みが世界的に関連性を持つと同時に、多様な分野で実用的に適用可能となっている。 |
| Finally, an upcoming Technical Report, ETSI TR 104 159, will further this work with a domain-specific application of the ETSI EN 304 223 principles to generative AI, focusing on deepfakes, misinformation, disinformation, confidentiality risks, copyright and IPR concerns, while delivering more prescriptive specifications for this domain where necessary. | 最後に、近々公開予定の技術報告書ETSI TR 104 159は、生成的AIに特化した形でETSI EN 304 223の原則を適用し、ディープフェイク、誤情報、偽情報、機密性リスク、著作権及び知的財産権の問題に焦点を当てつつ、必要に応じてこの分野向けのより規範的な技術仕様を提供する。 |
| ["ETSI EN 304 223](https://www.etsi.org/deliver/etsi_en/304200_304299/304223/02.01.01_60/en_304223v020101p.pdf) represents an important step forward in establishing a common, rigorous foundation for securing AI systems", said Scott Cadzow, Chair of ETSI's Technical Committee for Securing Artificial Intelligence". "At a time when AI is being increasingly integrated into critical services and infrastructure, the availability of clear, practical guidance that reflects both the complexity of these technologies and the realities of deployment cannot be underestimated. The work that went into delivering this framework is the result of extensive collaboration and it means that organisations can have full confidence in AI systems that are resilient, trustworthy, and secure by design." | 「ETSI EN 304 223は、AIシステムのセキュリティ確保に向けた共通の厳格な基盤を確立する上で重要な前進だ」と、ETSI人工知能セキュリティ技術委員会委員長スコット・カズォウは述べた。「AIが重要サービスやインフラにますます統合される中、これらの技術の複雑性と展開の現実の両方を反映した明確で実践的な指針の重要性は計り知れない。この枠組みの策定には広範な協力が結実しており、組織は設計段階からレジリエンス・信頼性・安全性を備えたAIシステムを完全に信頼できるようになる。」 |
・\[[PDF](https://www.etsi.org/deliver/etsi_en/304200_304299/304223/02.01.01_60/en_304223v020101p.pdf)\] ETSI EN 304 223 V2.1.1 (2025-12)
[](https://www.etsi.org/deliver/etsi_en/304200_304299/304223/02.01.01_60/en_304223v020101p.pdf)
| **5 AI Security Principles and Provisions** | **5 AIセキュリティ原則と規定** |
| --- | --- |
| **5.1 Secure Design** | **5.1 安全な設計** |
| **5.1.1 Principle 1: Raise awareness of AI security threats and risks** | **5.1.1 原則1：AIセキュリティ上の脅威とリスクに対する認識を高める** |
| Primarily applies to: System Operators, Developers, and Data Custodians | 主な適用対象： **システム運用者、開発者、データ管理者** |
| References: \[i.7\], \[i.8\], \[i.9\], \[i.10\], \[i.11\], \[i.12\], \[i.13\], \[i.14\], \[i.15\]. | 参照：\[i.7\]、\[i.8\]、\[i.9\]、\[i.10\]、\[i.11\]、\[i.12\]、\[i.13\]、\[i.14\]、\[i.15\]。 |
| Provision 5.1.1-1 Organizations' cyber security training programme shall include AI security content which shall be regularly reviewed and updated, such as if new substantial AI-related security threats emerge. | 規定 5.1.1-1 組織のサイバーセキュリティ研修プログラムには、AIセキュリティに関する内容を含めるものとする。この内容は、新たな重大なAI関連のセキュリティ脅威が発生した場合など、定期的に見直しと更新を行うものとする。 |
| Provision 5.1.1-1.1 AI security training shall be tailored to the specific roles and responsibilities of staff members. | 規定 5.1.1-1.1 AIセキュリティ研修は、職員の特定の役割と責任に合わせて調整されるものとする。 |
| Provision 5.1.1-2 As part of an Organization's wider staff training programme, they shall require all staff to maintain awareness of the latest security threats and vulnerabilities that are AI-related. Where available, this awareness shall include proposed mitigations. | 規定 5.1.1-2 組織は、広範な職員研修プログラムの一環として、全職員に対し、AI関連の最新のセキュリティ脅威や脆弱性に関する認識を維持させることを求める。可能な場合には、この認識には提案されている緩和策も含まれる。 |
| Provision 5.1.1-2.1 These updates should be communicated through multiple channels, such as security bulletins, newsletters, or internal knowledge-sharing platforms. This will ensure broad dissemination and understanding among the staff. | 規定 5.1.1-2.1 これらの更新情報は、セキュリティ情報、ニュースレター、内部知識共有プラットフォームなど、複数のチャネルを通じて伝達されるべきである。これにより、職員間での広範な周知と理解が確保される。 |
| Provision 5.1.1-2.2 Organizations shall provide developers with training in secure coding and system design techniques specific to AI development, with a focus on preventing and mitigating security vulnerabilities in AI algorithms, models, and associated software. | 規定 5.1.1-2.2 組織は、開発者に対し、AI開発に特化したセキュアコーディングおよびシステム設計技術に関する研修を提供しなければならない。その焦点は、AIアルゴリズム、モデル、および関連ソフトウェアにおける脆弱性の防止と緩和に置かれる。 |
| **5.1.2 Principle 2: Design the AI system for security as well as functionality and performance** | **5.1.2 原則 2：機能性や性能と同様に、セキュリティを考慮した AI システムの設計** |
| Primarily applies to: System Operators and Developers | 主な適用対象： **システム運用者、開発者** |
| References: \[i.11\], \[i.12\], \[i.10\], \[i.18\], \[i.19\], \[i.20\], \[i.15\], \[i.21\], \[i.22\], \[i.23\], \[i.9\], \[i.24\]. | 参照：\[i.11\]、\[i.12\]、\[i.10\]、\[i.18\]、\[i.19\]、\[i.20\]、\[i.15\]、\[i.21\]、\[i.22\]、\[i.23\]、\[i.9\]、\[i.24\]。 |
| Provision 5.1.2-1 As part of deciding whether to create an AI system, a System Operator and/or Developer shall conduct a thorough assessment that includes determining and documenting the business requirements and/or problem they are seeking to address, along with associated AI security risks and mitigation strategies. | 規定 5.1.2-1 AI システムを構築するかどうかを決定する過程において、システム運用者および／または開発者は、対処しようとするビジネス要件および／または問題を特定し文書化するとともに、関連する AI セキュリティリスクと緩和策を含む徹底的なアセスメントを実施しなければならない。 |
| Provision 5.1.2-1.1 Where the Data Custodian is part of a Developer's organization, they shall be included in internal discussions when determining the requirements and data needs of an AI system. | 規定 5.1.2-1.1 データ管理者が開発者の組織の一部である場合、AI システムの要件およびデータニーズを決定する際の内部協議に、データ管理者を参加させること。 |
| Provision 5.1.2-2 Developers and System Operators shall ensure that AI systems are designed and implemented to withstand adversarial AI attacks, unexpected inputs and AI system failure. | 規定 5.1.2-2 開発者及びシステム運用者は、AIシステムが敵対的AI攻撃、予期せぬ入力、AIシステムの故障に耐えられるよう設計・実装されることを確保しなければならない。 |
| Provision 5.1.2-3 To support the process of preparing data, security auditing and incident response for an AI system, Developers shall document and create an audit trail in relation to the AI system. This shall include the operation, and lifecycle management of models, datasets and prompts incorporated into the system. | 規定 5.1.2-3 AIシステムのデータ準備、セキュリティ監査、インシデント対応プロセスを支援するため、開発者はAIシステムに関連する監査証跡を文書化し作成しなければならない。これには、システムに組み込まれたモデル、データセット、プロンプトの運用およびライフサイクル管理が含まれる。 |
| Provision 5.1.2-4 If a Developer or System Operator uses an external component, they shall conduct an AI security risk assessment and due diligence process in line with their existing software development processes, that assesses AI specific risks. | 規定 5.1.2-4 開発者またはシステム運用者が外部コンポーネントを使用する場合、既存のソフトウェア開発プロセスに沿って、AI固有のリスクを評価するAIセキュリティリスクアセスメントおよびデューデリジェンスプロセスを実施しなければならない。 |
| Provision 5.1.2-5 Data Custodians shall ensure that the intended usage of the system is appropriate to the sensitivity of the data it was trained on as well as the controls intended to ensure the security of the data. | 規定 5.1.2-5 データ管理者は、システムの意図された使用目的が、その学習に使用されたデータの機密性およびデータのセキュリティを確保するための管理措置に適切であることを保証しなければならない。 |
| Provision 5.1.2-5.1 Organizations should ensure that employees are encouraged to proactively report and identify any potential security risks in AI systems and ensure appropriate safeguards are in place. | 規定 5.1.2-5.1 組織は、従業員が AI システムにおける潜在的なセキュリティリスクを積極的に報告・識別するよう奨励し、適切な保護措置が講じられていることを確保すべきである。 |
| Provision 5.1.2-6 Where the AI system will be interacting with other systems or data sources, (be they internal or external), Developers and System Operators shall ensure that the permissions granted to the AI system on other systems are only provided as required for functionality and are risk assessed. | 規定 5.1.2-6 AIシステムが他のシステムやデータソース（内部・外部を問わない）と連携する場合、開発者及びシステム運用者は、AIシステムに付与される権限が機能上必要な範囲に限定され、リスクアセスメントが実施されていることを保証しなければならない。 |
| Provision 5.1.2-7 If a Developer or System Operator chooses to work with an external provider, they shall undertake a due diligence assessment and should ensure that the provider is adhering to the present document. | 規定 5.1.2-7 開発者またはシステム運用者が外部プロバイダとの協業を選択する場合、デューデリジェンスアセスメントを実施し、当該プロバイダが本文書に準拠していることを確認しなければならない。 |
| **5.1.3 Principle 3: Evaluate the threats and manage the risks to the AI system** | **5.1.3 原則3：AIシステムに対する脅威を評価し、リスクマネジメントを行う** |
| Primarily applies to: Developers and System Operators | 主な適用対象： **開発者、システム運用者** |
| References: \[i.5\], \[i.11\], \[i.10\], \[i.25\], \[i.18\], \[i.13\], \[i.21\], \[i.19\], \[i.12\], \[i.17\] | 参照：\[i.5\]、\[i.11\]、\[i.10\]、\[i.25\]、\[i.18\]、\[i.13\]、\[i.21\]、\[i.19\]、\[i.12\]、\[i.17\] |
| Provision 5.1.3-1 Developers and System Operators shall analyse threats and manage security risks to their systems. Threat modelling should include regular reviews and updates and address AI-specific attacks, such as data poisoning, model inversion, and membership inference. | 規定 5.1.3-1 開発者とシステム運用者は、システムに対する脅威を分析し、セキュリティリスクを管理しなければならない。脅威モデリングには定期的な見直しと更新を含め、データ・ポイズニング、モデル逆算、メンバーシップ推論攻撃などのAI特有の攻撃に対処すべきである。 |
| Provision 5.1.3-1.1 The threat modelling and risk management process shall be conducted to address any security risks that arise when a new setting or configuration option is implemented or updated at any stage of the AI lifecycle. | 規定 5.1.3-1.1 脅威モデリングとリスクマネジメントプロセスは、AIライフサイクルのどの段階であれ、新しい設定や構成オプションが実装または更新される際に生じるセキュリティリスクに対処するために実施される。 |
| Provision 5.1.3-1.2 Developers shall manage the security risks associated with AI models that provide superfluous functionalities, where increased functionality leads to increased risk. For example, where a multi-modal model is being used but only single modality is used for system function. | 規定 5.1.3-1.2 開発者は、過剰な機能を提供するAIモデルに関連するセキュリティリスクを管理しなければならない。機能の増加がリスクの増加につながる場合である。例えば、マルチモーダルモデルが使用されているが、システム機能には単一モダリティのみが使用されている場合などである。 |
| Provision 5.1.3-1.3 System Operators shall apply controls to risks identified through the analysis based on a range of considerations, including the cost of implementation in line with their corporate risk tolerance. | 規定 5.1.3-1.3 システム運用者は、企業リスク許容度に沿った実装コストを含む様々な考慮事項に基づく分析を通じて識別されたリスクに対し、管理措置を適用しなければならない。 |
| Provision 5.1.3-2 Where AI security threats are identified that cannot be resolved by Developers, this shall be communicated to System Operators so they can threat model their systems. System Operators shall communicate this information to End-users, so they are made aware of these threats. This communication should include detailed descriptions of the risks, potential impacts, and recommended actions to address or monitor these threats. | 規定 5.1.3-2 開発者が解決できないAIセキュリティ脅威が特定された場合、システム運用者に伝達し、システム脅威モデルを構築させる。システム運用者はこの情報をエンドユーザーに伝達し、脅威を認識させる。伝達内容にはリスクの詳細な説明、潜在的影響、脅威への対応・監視のための推奨措置を含める。 |
| Provision 5.1.3-3 Where an external entity has responsibility for AI security risks identified within an organizations infrastructure, System Operators should attain assurance that these parties are able to address such risks. | 規定 5.1.3-3 組織のインフラ内で識別されたAIセキュリティリスクについて外部事業体が責任を負う場合、システム運用者は当該事業体がリスクに対処できることを保証すべきである。 |
| Provision 5.1.3-4 Developers and System Operators should continuously monitor and review their system infrastructure according to risk appetite. It is important to recognize that a higher level of risk will remain in AI systems despite the application of controls to mitigate against them. | 規定5.1.3-4 開発者とシステム運用者は、リスク許容度に基づきシステムインフラを継続的に監視し、見直すべきである。リスクを緩和するための策を適用しても、AIシステムにはより高いレベルのリスクが残存することを認識することが重要である。 |
| **5.1.4 Principle 4: Enable human responsibility for AI systems** | **5.1.4 原則4：AIシステムに対する人間の責任を可能にする** |
| Primarily applies to: Developers and System Operators | 主な適用対象： **開発者、システム運用者** |
| References: \[i.11\], \[i.12\], \[i.20\] | 参照：\[i.11\]、\[i.12\]、\[i.20\] |
| Provision 5.1.4-1 When designing an AI system, Developers and/or System Operators should incorporate and maintain capabilities to enable human oversight. | 規定 5.1.4-1 AIシステムを設計する際、開発者および／またはシステム運用者は、人間の監視を可能にする機能を組み込み、維持すべきである。 |
| Provision 5.1.4-2 Developers should design systems to make it easy for humans to assess outputs that they are responsible for in said system (such as by ensuring that models outputs are explainable or interpretable). | 規定 5.1.4-2 開発者は、人間が当該システムにおいて責任を負う出力を容易にアセスメントできるようにシステムを設計すべきである（例えば、モデルの出力が説明可能または解釈可能であることを保証するなど）。 |
| Provision 5.1.4-3 Where human oversight is a risk control, Developers and/or System Operators shall design, develop, verify and maintain technical measures to reduce the risk through such oversight. | 規定 5.1.4-3 人間の監視がリスク管理手段である場合、開発者および／またはシステム運用者は、当該監視を通じてリスクを低減するための技術的措置を設計、開発、検証、維持しなければならない。 |
| Provision 5.1.4-4 Developers should verify that the security controls specified by the Data Custodian have been built into the system. | 規定 5.1.4-4 開発者は、データ管理者が指定したセキュリティ管理策がシステムに組み込まれていることを検証すべきである。 |
| Provision 5.1.4-5 Developers and System Operators should make End-users aware of prohibited use cases of the AI system. | 規定 5.1.4-5 開発者およびシステム運用者は、エンドユーザーに対し、AI システムの禁止使用事例を周知させるべきである。 |
| **5.2 Secure Development** | **5.2 セキュア開発** |
| **5.2.1 Principle 5: Identify, track and protect the assets** | **5.2.1 原則 5：資産を識別、追跡、防御する** |
| Primarily applies to: Developers, System Operators and Data Custodians | 主な適用対象： **開発者、システム運用者、データ管理者** |
| References: \[i.11\], \[i.25\], \[i.19\], \[i.20\], \[i.15\], \[i.16\], \[i.21\], \[i.24\] | 参照：\[i.11\]、\[i.25\]、\[i.19\]、\[i.20\]、\[i.15\]、\[i.16\]、\[i.21\]、\[i.24\] |
| Provision 5.2.1-1 Developers, Data Custodians and System Operators shall maintain a comprehensive inventory of their assets (including their interdependencies/connectivity). | 規定 5.2.1-1 開発者、データ管理者、システム運用者は、資産（相互依存関係/接続性を含む）の包括的な目録を維持しなければならない。 |
| Provision 5.2.1-2 As part of broader software security practices, Developers, Data Custodians and System Operators shall have processes and tools to track, authenticate, manage version control and secure their assets due to the increased complexities of AI specific assets. | 規定 5.2.1-2 開発者、データ管理者、システム運用者は、より広範なソフトウェアセキュリティ対策の一環として、AI固有の資産の複雑性が増しているため、資産を追跡、認証、バージョン管理し、保護するためのプロセスとツールを備えること。 |
| Provision 5.2.1-3 System Operators shall develop and tailor their disaster recovery plans to account for specific attacks aimed at AI systems. | 規定 5.2.1-3 システム運用者は、AI システムを標的とした特定の攻撃を考慮した災害復旧計画を策定し、適応させること。 |
| Provision 5.2.1-3.1 System Operators should ensure that a known good state can be restored. | 規定 5.2.1-3.1 システム運用者は、既知の正常状態を復元できることを保証すべきである。 |
| Provision 5.2.1-4 Developers, System Operators, Data Custodians and End-users shall protect sensitive data, such as training or test data, against unauthorized access (see clause 5.2.3 for details on securing data). | 規定 5.2.1-4 開発者、システム運用者、データ管理者、エンドユーザーは、トレーニングデータやテストデータなどの機密データを不正アクセスから防御しなければならない（データ保護の詳細については条項 5.2.3 を参照）。 |
| Provision 5.2.1-4.1 Developers, Data Custodians and System Operators shall apply checks and sanitisation to data and inputs when designing the model based on their access to said data and inputs and where those data and inputs are stored. This shall be repeated when model revisions are made in response to user feedback or continuous learning. See clause 5.2.2 for relevant provisions for open source. | 規定 5.2.1-4.1 開発者、データ管理者及びシステム運用者は、モデル設計時に、当該データ及び入力へのアクセス権限、並びにそれらの保存場所に基づき、データ及び入力に対する検証とサニタイズを適用しなければならない。これは、ユーザーフィードバックや継続的学習に応じたモデル改訂時にも繰り返される。オープンソースに関する関連規定は条項 5.2.2 を参照のこと。 |
| Provision 5.2.1-4.2 Where training data or model weights could be confidential, Developers shall put proportionate protections in place. | 規定 5.2.1-4.2 トレーニングデータやモデル重みが機密情報となり得る場合、開発者は適切な保護措置を講じなければならない。 |
| **5.2.2 Principle 6: Secure the infrastructure** | **5.2.2 原則 6: インフラの保護** |
| Primarily applies to: Developers and System Operators | 主な適用対象： **開発者、システム運用者** |
| References: \[i.11\], \[i.12\], \[i.10\], \[i.19\], \[i.24\] | 参照：\[i.11\]、\[i.12\]、\[i.10\]、\[i.19\]、\[i.24\] |
| Provision 5.2.2-1 Developers and System Operators shall evaluate their organization's access control frameworks and identify appropriate measures to secure APIs, models, data, and training and processing pipelines. | 規定 5.2.2-1 開発者およびシステム運用者は、組織のアクセス管理枠組みを評価し、API、モデル、データ、およびトレーニング・処理パイプラインを保護するための適切な措置を識別しなければならない。 |
| Provision 5.2.2-2 If a Developer offers an API to external customers or collaborators, they shall apply controls that mitigate attacks on the AI system via the API. For example, placing limits on model access rate to limit an attacker's ability to reverse engineer or overwhelm defences to rapidly poison a model. | 規定 5.2.2-2 開発者が外部顧客や協力者に API を提供する場合は、API 経由での AI システムへの攻撃を緩和する制御を適用しなければならない。例えば、モデルへのアクセスレートに制限を設けることで、攻撃者がリバースエンジニアリングを行ったり、防御を圧倒してモデルを急速に汚染する能力を制限する。 |
| Provision 5.2.2-3 Developers shall also create dedicated environments for development and model tuning activities. | 規定 5.2.2-3 開発者は、開発およびモデル調整活動のための専用環境も構築しなければならない。 |
| The dedicated environments shall be backed by technical controls to ensure separation and principle of least privilege. In the context of AI, this is particularly necessary because training data shall only be present in the training and development environments where this training data is not based on publicly available data. | 専用環境は、分離と最小権限の原則を確保するための技術的制御によって支えられる。AIの文脈では、これは特に必要である。なぜなら、トレーニングデータは、公開データに基づいていない場合、トレーニング環境と開発環境のみに存在すべきだからである。 |
| Provision 5.2.2-4 Developers and System Operators shall implement and publish a clear and accessible vulnerability disclosure policy. | 規定 5.2.2-4 開発者およびシステム運用者は、明確かつアクセス可能な脆弱性開示ポリシーを実施し、公表しなければならない。 |
| Provision 5.2.2-5 Developers and System Operators shall create, test and maintain an AI system incident management plan and an AI system recovery plan. | 規定 5.2.2-5 開発者およびシステム運用者は、AI システムインシデント管理計画および AI システム復旧計画を作成、テスト、維持しなければならない。 |
| Provision 5.2.2-6 Developers and System Operators should ensure that, where they are using cloud service operators to help to deliver the capability, their contractual agreements support compliance with the above requirements. | 規定 5.2.2-6 開発者およびシステム運用者は、クラウドサービス事業者を利用して機能を提供する場合、契約上の合意が上記の要件への準拠を支援することを確保すべきである。 |
| **5.2.3 Principle 7: Secure the supply chain** | **5.2.3 原則 7：サプライチェーンの保護** |
| Primarily applies to: Developers, System Operators and Data Custodians | 主な適用対象： **開発者、システム運用者、データ管理者** |
| References: \[i.6\], \[i.11\], \[i.19\], \[i.9\] | 参照：\[i.6\]、\[i.11\]、\[i.19\]、\[i.9\] |
| Provision 5.2.3-1 Developers and System Operators shall follow secure software supply chain processes for their AI model and system development. | 規定 5.2.3-1 開発者およびシステム運用者は、AIモデルおよびシステム開発において、安全なソフトウェアサプライチェーンプロセスに従わなければならない。 |
| Provision 5.2.3-2 System Operators that choose to use or adapt any models, or components, which are not well-documented or secured shall be able to justify their decision to use such models or components through documentation (for example if there was no other supplier for said component). | 規定 5.2.3-2 十分に文書化または保護されていないモデルやコンポーネントの使用または適応を選択するシステム運用者は、文書を通じてそのようなモデルやコンポーネントを使用する決定を正当化できること（例えば、当該コンポーネントの他の供給元が存在しない場合など）。 |
| Provision 5.2.3-2.1 In this case, Developers and System Operators shall have mitigating controls and undertake a risk assessment linked to such models or components. | 規定 5.2.3-2.1 この場合、開発者およびシステム運用者は、当該モデルまたはコンポーネントに関連する緩和策を講じ、リスクアセスメントを実施しなければならない。 |
| Provision 5.2.3-2.2 System Operators shall share this documentation with End-users in an accessible way. | 規定 5.2.3-2.2 システム運用者は、この文書をエンドユーザーがアクセス可能な方法で共有しなければならない。 |
| Provision 5.2.3-3 Developers and System Operators shall re-run evaluations on released models that they intend on using. | 規定 5.2.3-3 開発者およびシステム運用者は、使用を予定しているリリース済みモデルについて、評価を再実行しなければならない。 |
| Provision 5.2.3-4 System Operators shall communicate their intention to update models to End-users in an accessible way prior to models being updated. | 規定5.2.3-4 システム運営者は、モデルを更新する前に、エンドユーザーに対し、モデル更新の意図を分かりやすい方法で伝えること。 |
| **5.2.4 Principle 8: Document data, models and prompts** | **5.2.4 原則8：データ、モデル、プロンプトを文書化する** |
| Primarily applies to: Developers | 主な **適用対象：開発者** |
| References: \[i.11\], \[i.10\], \[i.19\], \[i.15\], \[i.24\] | 参照：\[i.11\]、\[i.10\]、\[i.19\]、\[i.15\]、\[i.24\] |
| Provision 5.2.4-1 Developers shall document and maintain a clear audit trail of their system design and post-deployment maintenance plans. Developers should make the documentation available to the downstream System Operators and Data Custodians. | 規定 5.2.4-1 開発者は、システム設計および展開後の保守計画について、明確な監査証跡を文書化し維持しなければならない。開発者は、その文書を後続のシステム運用者およびデータ管理者に提供すべきである。 |
| Provision 5.2.4-1.1 Developers should ensure that the document includes security-relevant information, such as the sources of training data (including fine-tuning data and human or other operational feedback), intended scope and limitations, guardrails, retention time, suggested review frequency and potential failure modes. | 規定 5.2.4-1.1 開発者は、文書にセキュリティ関連情報（トレーニングデータのソース（微調整データや人間またはその他の運用フィードバックを含む）、意図された範囲と制限、ガードレール、保持期間、推奨されるレビュー頻度、潜在的な故障モードなど）が含まれることを保証すべきである。 |
| Provision 5.2.4-1.2 Developers shall release cryptographic hashes for model components that are made available to other stakeholders to allow them to verify the authenticity of the components. | 規定 5.2.4-1.2 開発者は、他の関係者がコンポーネントの真正性を検証できるように、他の関係者に提供されるモデルコンポーネントの暗号ハッシュを公開しなければならない。 |
| Provision 5.2.4-2 Where training data has been sourced from publicly available sources, there is a risk that this data might have been poisoned. As discovery of poisoned data is likely to occur after training (if at all), Developers shall document how they obtained the public training data, where it came from and how that data is used in the model. | 規定 5.2.4-2 公開情報源から取得した訓練データには、データ・ポイズニングのリスクがある。データ・ポイズニングの発見は（仮に発見されるとしても）訓練後になる可能性が高いため、開発者は公開訓練データの取得方法、出所、およびモデル内での使用方法を文書化しなければならない。 |
| Provision 5.2.4-2.1 The documentation of training data should include at a minimum the source of the data, such as the URL of the scraped page, and the date/time the data was obtained. This will allow Developers to identify whether a reported data poisoning attack was in their data sets. | 規定 5.2.4-2.1 トレーニングデータの文書化には、最低限、データのソース（スクレイピングしたページのURLなど）と取得日時を含めること。これにより、報告されたデータ・ポイズニング攻撃が自社のデータセットに存在したか否かを開発者が識別できる。 |
| Provision 5.2.4-3 Developers should ensure that they have an audit log of changes to system prompts or other model configuration (including prompts) that affect the underlying working of the systems. Developers can make this available to any System Operators and End-Users that have access to the model. | 規定 5.2.4-3 開発者は、システムのプロンプトやその他のモデル設定（プロンプトを含む）の変更について、システムの基盤的な動作に影響を与える変更の変更履歴を確保すべきである。開発者は、モデルにアクセス権を持つシステムオペレーターやエンドユーザーにこの変更履歴を提供できる。 |
| **5.2.5 Principle 9: Conduct appropriate testing and evaluation** | **5.2.5 原則 9: 適切なテストと評価の実施** |
| Primarily applies to: Developers and System Operators | 主な適用対象： **開発者、システム運用者** |
| References: \[i.11\], \[i.10\], \[i.25\], \[i.19\], \[i.18\], \[i.13\], \[i.21\] | 参照：\[i.11\]、\[i.10\]、\[i.25\]、\[i.19\]、\[i.18\]、\[i.13\]、\[i.21\] |
| Provision 5.2.5-1 Developers shall ensure that all models, applications and systems that are released to System Operators and/or End-users have been tested as part of a security assessment process. | 規定 5.2.5-1 開発者は、システム運用者および／またはエンドユーザーにリリースされる全てのモデル、アプリケーション、システムが、セキュリティアセスメントプロセスの一環としてテストされていることを保証しなければならない。 |
| Provision 5.2.5-2 System Operators shall conduct testing prior to the system being deployed with support from Developers. | 規定 5.2.5-2 システム運用者は、開発者の支援を得て、システムが展開される前にテストを実施しなければならない。 |
| Provision 5.2.5-2.1 For security testing, System Operators and Developers should use independent security testers with technical skills relevant to their AI systems. | 規定 5.2.5-2.1 セキュリティテストにおいては、システム運用者及び開発者は、自社の AI システムに関連する技術的スキルを有する独立したセキュリティテスターを活用すべきである。 |
| Provision 5.2.5-3 Developers should ensure that the findings from the testing and evaluation are shared with System Operators, to inform their own testing and evaluation. | 規定 5.2.5-3 開発者は、テストおよび評価の結果をシステム運用者と共有し、運用者自身のテストおよび評価に役立てるべきである。 |
| Provision 5.2.5-4 Developers should evaluate model outputs to ensure they do not allow System Operators or End-users to reverse engineer non-public aspects of the model or the training data. | 規定 5.2.5-4 開発者は、モデル出力を評価し、システム運用者やエンドユーザーがモデルやトレーニングデータの非公開部分をリバースエンジニアリングできないようにすべきである。 |
| Provision 5.2.5-4.1 Additionally, Developers should evaluate model outputs to ensure they do not provide System Operators or End-users with unintended influence over the system. | 規定 5.2.5-4.1 さらに、開発者はモデル出力を評価し、システム運用者やエンドユーザーがシステムに対して意図しない影響力を行使できないようにすべきである。 |
| **5.3 Secure Deployment** | **5.3 安全な展開** |
| **5.3.1 Principle 10: Communication and processes associated with End-users and Affected Entities** | **5.3.1 原則 10: エンドユーザーおよび影響を受ける事業体に関連するコミュニケーションとプロセス** |
| NOTE: | 注記： |
| Provision 5.3.1-1 System Operators shall convey to End-users in an accessible way where and how their data will be used, accessed and stored (for example, if it is used for model retraining, or reviewed by employees or partners). If the Developer is an external entity, they shall provide this information to System Operators. | 規定 5.3.1-1 システム運用者は、エンドユーザーに対し、そのデータがどこでどのように使用、アクセス、保存されるか（例えば、モデル再学習に使用される場合、従業員やパートナーによってレビューされる場合など）を、理解しやすい方法で伝えるものとする。開発者が外部事業体である場合、開発者はこの情報をシステム運用者に提供するものとする。 |
| Provision 5.3.1-2 System Operators shall provide End-users with accessible guidance to support their use, management, integration, and configuration of AI systems. If the Developer is an external entity, they shall provide all necessary information to help System Operators. | 規定 5.3.1-2 システム運用者は、エンドユーザーがAIシステムの利用、管理、統合、設定を支援するための理解しやすいガイダンスを提供しなければならない。開発者が外部事業体である場合、システム運用者を支援するために必要な情報を全て提供しなければならない。 |
| Provision 5.3.1-2.1 System Operators shall include guidance on the appropriate use of the model or system, which includes highlighting limitations and potential failure modes. | 規定 5.3.1-2.1 システム運用者は、モデルまたはシステムの適切な使用に関するガイダンスを含めるものとする。これには、制限事項や潜在的な故障モードの強調が含まれる。 |
| Provision 5.3.1-2.2 System Operators shall proactively inform End-users of any security relevant updates and provide clear explanations in an accessible way. | 規定 5.3.1-2.2 システム運用者は、セキュリティに関連する更新情報をエンドユーザーに積極的に通知し、アクセス可能な方法で明確な説明を提供しなければならない。 |
| Provision 5.3.1-3 Developers and System Operators should support End-users and Affected Entities during and following a cyber security incident to contain and mitigate the impacts of an incident. The process for undertaking this should be documented and agreed in contracts with End-users. | 規定 5.3.1-3 開発者とシステム運営者は、サイバーセキュリティインシデント発生時および発生後、エンドユーザーと影響を受ける事業体を支援し、インシデントの影響を封じ込め緩和すべきである。この実施プロセスは文書化し、エンドユーザーとの契約で合意すべきである。 |
| **5.4 Secure Maintenance** | **5.4 安全な保守** |
| **5.4.1 Principle 11: Maintain regular security updates, patches and mitigations** | **5.4.1 原則 11: 定期的なセキュリティ更新、パッチ適用、緩和策の実施** |
| Primarily applies to: Developers and System Operators | 主に適用対象： **開発者、運用者** |
| References: \[i.24\] | 参照：\[i.24\] |
| Provision 5.4.1-1 Developers shall provide security updates and patches, where possible, and notify System Operators of the security updates. System Operators shall deliver these updates and patches to End-users. | 規定 5.4.1-1 開発者は、可能な限りセキュリティ更新とパッチを提供し、システム運用者に通知する。システム運用者は、これらの更新とパッチをエンドユーザーに提供する。 |
| Provision 5.4.1-1.1 Developers shall have mechanisms and contingency plans to mitigate security risks, particularly in instances where updates cannot be provided for AI systems. | 規定 5.4.1-1.1 開発者は、特にAIシステムに対して更新を提供できない場合において、セキュリティリスクを緩和するための仕組みと緊急時対応計画を有しなければならない。 |
| Provision 5.4.1-2 Developers should treat major AI system updates as though a new version of a model has been developed and therefore undertake a new security testing and evaluation process to help protect users. | 規定 5.4.1-2 開発者は、AIシステムの主要な更新を、あたかもモデルの新しいバージョンが開発されたかのように扱い、ユーザーを防御するために新たなセキュリティテストおよび評価プロセスを実施すべきである。 |
| Provision 5.4.1-3 Developers should support System Operators to evaluate and respond to model changes, (for example by providing preview access via beta-testing and versioned APIs). | 規定 5.4.1-3 開発者は、システム運用者がモデル変更を評価し対応できるよう支援すべきである（例えば、ベータテストやバージョン管理されたAPIによるプレビューアクセスを提供するなど）。 |
| **5.4.2 Principle 12: Monitor the system's behaviour** | **5.4.2 原則12：システムの動作を監視する** |
| Primarily applies to: Developers and System Operators | 主な適用される対象： **開発者、システム運用者** |
| References: \[i.11\], \[i.10\], \[i.25\], \[i.18\], \[i.20\], \[i.15\], \[i.16\], \[i.21\], \[i.24\] | 参照：\[i.11\]、\[i.10\]、\[i.25\]、\[i.18\]、\[i.20\]、\[i.15\]、\[i.16\]、\[i.21\]、\[i.24\] |
| Provision 5.4.2-1 System Operators shall log system and user actions to support security compliance, incident investigations, and vulnerability remediation. | 規定 5.4.2-1 システム運用者は、セキュリティコンプライアンス、インシデント調査、脆弱性対策を支援するため、システムおよびユーザーの操作をログに記録しなければならない。 |
| Provision 5.4.2-2 System Operators should analyse their logs to ensure that AI models continue to produce desired outputs and to detect anomalies, security breaches, or unexpected behaviour over time (such as due to data drift or data poisoning). | 規定 5.4.2-2 システム運用者は、AI モデルが望ましい出力を継続的に生成していることを確認し、時間の経過に伴う異常、セキュリティ侵害、または予期せぬ動作（データドリフトやデータ・ポイズニングなどによる）を検知するために、ログを分析すべきである。 |
| Provision 5.4.2-3 System Operators and Developers should monitor internal states of their AI systems where this could better enable them to address security threats, or to enable future security analytics. | 規定 5.4.2-3 システム運用者および開発者は、セキュリティ脅威への対応を強化したり、将来のセキュリティ分析を可能にしたりするために、AIシステムの内部状態を監視すべきである。 |
| Provision 5.4.2-4 System Operators and Developers should monitor the performance of their models and system over time so that they can detect sudden or gradual changes in behaviour that could affect security. | 規定 5.4.2-4 システム運用者および開発者は、セキュリティに影響を与える可能性のある急激または漸進的な動作変化を検知できるよう、モデルおよびシステムの経時的なパフォーマンスを監視すべきである。 |
| **5.5 Secure End of Life** | **5.5 安全なライフサイクル終了** |
| **5.5.1 Principle 13: Ensure proper data and model disposal** | **5.5.1 原則 13: 適切なデータおよびモデルの廃棄を確保する** |
| Primarily applies to: Developers and System Operators | 主な適用対象： **開発者、システム運用者** |
| Provision 5.5.1-1 If a Developer or System Operator decides to transfer or share ownership of training data and/or a model to another entity they shall involve Data Custodians and securely dispose of these assets. This will protect AI against security issues that can transfer from one AI system instantiation to another. | 規定 5.5.1-1 開発者またはシステム運用者が、トレーニングデータおよび／またはモデルの所有権を他の事業体に譲渡または共有することを決定した場合、データ管理者を関与させ、これらの資産を安全に廃棄しなければならない。これにより、あるAIシステムのインスタンスから別のインスタンスへ移行する可能性のあるセキュリティ問題からAIを防御する。 |
| Provision 5.5.1-2 If a Developer or System Operators decides to decommission a model and/or system, they shall involve Data Custodians and securely delete applicable data and configuration details. | 規定 5.5.1-2 開発者またはシステム運用者がモデルおよび／またはシステムの廃止を決定した場合、データ管理者を関与させ、該当するデータおよび構成詳細を安全に削除しなければならない。 |
| [Permalink](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/03/post-c3e27c.html)
[« 欧州委員会 AI生成コンテンツの表示・ラベル付けに関する行動規範のドラフト第2版 (2025.03.05)](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/03/post-ce93b0.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/)
[« 欧州委員会 AI生成コンテンツの表示・ラベル付けに関する行動規範のドラフト第2版 (2025.03.05)](http://maruyama-mitsuhiko.cocolog-nifty.com/security/2026/03/post-ce93b0.html) | [Main](http://maruyama-mitsuhiko.cocolog-nifty.com/security/)