```table-of-contents title: minLevel: 0 maxLevel: 0 includeLinks: true ``` NIST は、2024 年 7 月 26 日に [「AI のリスクと影響の評価 (ARIA)」](https://ai-challenges.nist.gov/aria) 、 2024 年 4 月 29 日に「 [NIST GenAI](https://ai-challenges.nist.gov/genai) チャレンジ」という2 つの AI 評価プログラムを発表しました 。 ## まとめ 信頼できるAI製品・サービスの開発と実用化は、基盤となる技術とその利用に関する信頼性の高い測定と評価に大きく依存します。NISTは、AIの新興分野および既存分野における指標、測定、評価手法の研究開発を行い、標準規格の策定に貢献するとともに、AI技術が成熟し新たな用途が開拓されるにつれて、AI技術の測定と評価のための標準規格、ガイド、ベストプラクティスの導入を促進しています。 ## 説明 NISTは、1960年代後半に自動指紋認証システムの測定と評価に着手し、AIの測定と評価活動において長い歴史を持っています。以来、NISTは数千ものAIシステムを設計・評価し、数十回にわたり評価を実施してきました。これらの活動は、一般的に精度と堅牢性の測定に重点を置いていますが、現在調査中のAI関連の測定と評価には、バイアス、解釈可能性、透明性なども含まれます。NISTは、他の機関と連携しながらこれらの取り組みを拡大し、AI研究を推進し、以下の方法で進歩を促進することを目指しています。 1. AI の測定科学の進歩: AI テクノロジーのさまざまな特性について、定量的および定性的な指標と測定方法を定義、特徴付け、理論的かつ実証的に開発および分析します。 2. AI 評価の実施: タスク、課題、テストベッド、ソフトウェア ツールの開発、意味のあるデータ セットのキュレーションと特性評価の支援など、AI テクノロジーの評価を設計および実施し、AI テクノロジーと関連する測定における技術的なギャップと制限を特定します。 3. 技術ガイドラインと実践の開発: 学術、産業、政府のプログラムに情報を提供するために結果とガイドラインを共有します。 4. AI の測定と評価に関する自主的なコンセンサスに基づく標準への貢献: AI テクノロジの開発、展開、評価をサポートするための標準化の取り組みを主導または参加します。 **NISTのプロジェクトは、NIST研究所の様々な分野の研究者によって実施されており、産業界、他の政府機関、そして学界と連携して行われることも少なくありません。NIST AIイノベーションラボ（NAIIL）は、これらの取り組みの多くを主導または調整しています。** **さらに、新設の米国人工知能安全研究所（USAISA）と** [**コンソーシアムは**](https://www.nist.gov/aisi/artificial-intelligence-safety-institute-consortium-aisic) **、NISTのAI測定・評価に関する取り組みの重要な要素となります。** **最近の 2 つの主要な評価活動は、** [**AI のリスクと影響の評価 (ARIA)**](https://ai-challenges.nist.gov/aria) **と** [**NIST GenAI**](https://ai-challenges.nist.gov/genai) **プログラムです。** これらの活動は、AI技術の計測と評価をめぐる強力で活発なコミュニティを構築するためのNISTの取り組みの一環であり、AI計測研究の推進に特化したフォーラムの設立を補完するものです。これにより、AI技術の設計、開発、導入、試験、評価に携わる人々間の連携が促進され、幅広く多様なAIコミュニティのニーズへの対応に貢献します。NISTがAI計測・評価コミュニティを強化するために開催したイベントには、以下のものがあります。 - [AIイノベーションの解放と信頼の実現に関するシンポジウム](https://www.nist.gov/news-events/events/2024/09/unleashing-ai-innovation-enabling-trust "AIイノベーションを解き放ち、信頼を実現する") （2024年9月24日～25日） - [安全で信頼できるAIを実現するためのコラボレーションに関するワークショップ](https://www.nist.gov/news-events/events/usaisi-workshop-collaboration-enable-safe-and-trustworthy-ai) （2023年11月17日） - [AIの測定と評価に関するワークショップ](https://www.nist.gov/news-events/events/2021/06/ai-measurement-and-evaluation-workshop "AI測定・評価ワークショップ") （2021年6月15日～17日） - [AI計測コロキウムシリーズ](https://www.nist.gov/programs-projects/ai-measurement-and-evaluation/ai-metrology-colloquia-series "AI計測コロキウムシリーズ") AIに関してNISTと連携する方法の詳細については、 [「連携」を参照してください。](https://www.nist.gov/artificial-intelligence/engage "従事する") ## 現在/将来の仕事 NISTは、信頼できるAIシステムに必要な基盤を形成するため、AI技術の特性に関する概念の共通用語、定義、分類を確立するための集中的な取り組みを行ってきました。これらの特性には、精度、説明可能性と解釈可能性、プライバシー、信頼性、堅牢性、安全性、セキュリティ（回復力）、そして有害なバイアスの軽減が含まれます。それぞれの特性には独自の測定と評価のポートフォリオが必要であり、コンテキストが非常に重要です。特定のコンポーネントの測定方法と評価方法は、AIシステムが動作するコンテキストに応じて変化する可能性があります。 NISTは、各特性について、現在使用中または提案中の指標と測定方法の定義、適用範囲、タスク、長所と短所を文書化し、改善することを目指しています。また、NISTは、関心のある特定の属性に関する有意義なデータセットを開発し、準備・キュレーションし、選択された指標と測定方法を様々なAIシステムに適用しています。 ## NIST AI 測定および評価関連プロジェクトの一部が ここに表示されます。 [このページは役に立ちましたか?](https://www.nist.gov/webform/page_feedback?page=https://www.nist.gov/ai-test-evaluation-validation-and-verification-tevv&page_title=AI%20Test,%20Evaluation,%20Validation%20and%20Verification%20\(TEVV\)&source_entity_type=node&source_entity_id=1709306) 原文 この翻訳を評価してください いただいたフィードバックは Google 翻訳の改善に役立てさせていただきます