はじめに
弊社では米国国立標準技術研究所(NIST)の許可を得て、2022年3月に発表された報告書 “ NIST Special Publication 1270: Towards a Standard for Identifying and Managing Bias in Artificial Intelligence”「AIのバイアスの特定と管理のための標準化に向けて」について、そのキーポイントと思われるところを抜粋し邦訳の上、3回に分けてブログで公開することと致しました。今回はその最終回です。
邦訳並びにブログでの転載の許可を頂きましたNISTのご厚意に深謝申し上げますと共に、本記事が、今後の日本の社会や企業におけるAIの実装において、少しでも皆様のお役に立てることを願っています。
尚、邦訳に関わる抜粋箇所の選定は、あくまで弊社の私見・責任に則ったものであり、NISTの意図を現したものではございません。
Translated with permission courtesy of the National Institute of Standards and Technology (NIST), not an official US Government translation. All rights reserved, US Secretary of Commerce.
【NIST Special Publication 1270の構成】
第二回に引き続き、最終回の今回は以下構成の内、3.AIバイアスの課題と指針の後半から終わりまでについて、主な論点を取りまとめます。
Executive Summary
- Purpose and Scope 目的とスコープ
- AI Bias: Context and Terminology AIバイアスの類型化
- AI Bias: Challenges and Guidance AIバイアス：課題と指針
- Conclusions 結論
- Glossary
最終回の今回ご紹介する部分は、AIバイアスのガバナンスに関わる技術的・人的アプローチについて、より具体的な議論がなされています。
3.2 How do we know what is right? TEVV Considerations for AI Bias
何が正しいかが、どうすればわかるのか？AIバイアスのTEVV(Testing Evaluation Validation Verification)考察
3.2.1 TEVV Challenges
TEVV(Test, Evaluation, Validation, and Verification)の課題
Even the algorithm itself relies on data for training and performance tuning, which in turn can be assessed by a fairness metric. Therefore, when we consider the computational approaches to mitigating bias, we must take into consideration these three components together: algorithms, data, and fairness metrics.
アルゴリズム自体も、学習やパフォーマンスを調整するため、データに依存しており、一方そのデータは公平性の指標から評価されるべきです。したがって、バイアスを軽減するための計数的アプローチを検討する際には、アルゴリズム、データ、公平性メトリックの3つの要素を合わせて考慮する必要があります。
AI systems regularly model concepts that are — at best — only partially observable or capturable by data. Without direct measures for these highly complex considerations, AI development teams use proxies, which can create many risks [150].
AIシステムは、せいぜい部分的にしか観測できない、あるいはデータでは直接捕捉できないような概念を、通常モデル化しています。これらの非常に複雑な概念に対しては、直接的なデータ計測方法がないため、AI開発チームはプロキシ（訳注：直接測定できない変数に対して利用する代理変数）を使用しますが、これが多くのリスクを生み出すことになります[150]。
Epistemic and aleatoric uncertainty Epistemic 並びに Aleatoricな不確実性
ML distinguishes two types of predictive uncertainty: EPISTEMIC and ALEATORIC [152].
機械学習では予測の不確実性を2種類に区別しています。Epistemicな不確実性とAleatoricな不確実性です[152]．
While epistemic uncertainty can be reduced by increasing the amount of representative training data, it cannot be fully eliminated. This can impact the behavior of a deep learning system in deployment when used with real-world data, especially when there is a mismatch in the distributions of the real and training data [103]. This can lead to undesirable effects on many of the AI system’s critical attributes (e.g., robustness, resilience), including inducing harmful bias.
Epistemicな不確実性（訳注: モデルの不確実性のうち、学習すれば改善するもの）は、代表的な学習データの量を増やすことで低減することができますが、完全に排除することはできません。これは、実データを使ったデプロイメントステージにおいて、深層学習システムの挙動に影響を与える可能性があります。特に実データと学習データの分布に不一致がある場合が問題です[103]。この結果、AIシステムの重要な特性（例えば、ロバスト性、レジリエンス）に対し、有害なバイアスの顕在化を含む、望ましくない影響を与える可能性があります。
Another inherent type of uncertainty associated with machine learning is ALEATORIC. It represents the uncertainty inherent in the data, e.g., the uncertainty in the label assigning process of the training dataset. Aleatoric uncertainty is the irreducible part of the predictive uncertainty.
機械学習に固有のもう一つの不確実性は、Aleatoric な不確実性（訳注：環境等ランダムな事象が原因で発生する不確実性、学習だけでは改善しないもの）です。これはデータそのものに内在する不確実性、例えば、学習データセットのラベル付与過程における不確実性です。Aleatoricな不確実性は、予測の不確実性のうち、軽減することが難しい不確実性です。
Processes プロセス
The software designers and data scientists working in design and development are often highly focused on system performance and optimization. This focus can inadvertently be a source of bias in AI systems. For example, during model development and selection, modelers will almost always select the most accurate models. Yet, as Forde et al describe in their paper, [167] selecting models based solely on accuracy is not necessarily the best approach for bias reduction.
設計・開発に携わるソフトウェア設計者やデータサイエンティストは、システムのパフォーマンスや最適化に高い関心を寄せています。こうした取組方針は、AIシステムにおいて思わぬ形でバイアスの原因となることがあります。例えば、モデルの開発と選択において、モデル開発者はほとんどの場合、最も精度の高いモデルを選択します。しかし、Fordeらが論文で述べているように、[167]精度のみに基づいてモデルを選択することは、必ずしもバイアスを減らすための最良のアプローチではありません。
Furthermore, the choice of the model’s objective function, upon which a model’s definition of accuracy is based, can reflect bias. Not taking context into consideration during model selection can lead to biased results for sub-populations (for example, disparities in health care delivery).
さらに、モデルの精度の基準となる目的関数（損失関数）の選択にもバイアスがかかっていることがあります。モデル選択時にコンテキストを考慮しないと、部分的な母集団に対して偏った結果（例えば、医療提供における格差）をもたらす可能性があります。
Relatedly, systems that are designed to use aggregated data about groups to make predictions about individual behavior — a practice initially meant to be a remedy for non-representative datasets[18] — can lead to biased outcomes. This bias, known as ECOLOGICAL FALLACY, occurs when an inference is made about an individual based on their membership within a group (for example, predicting college performance risk based on an individual’s race [52]).
また、集団について集約されたデータを用いて個人の行動を予測するように設計されたシステムは（もともとは、少数の非代表的なデータセット[18]に対する救済措置として意図されていたものであっても）、偏った結果をもたらす可能性があります。このバイアスはECOLOGICAL FALLACYとして知られ、グループ属性に基づいて個人に対する推論を行う時に発生します（例えば、個人の人種に基づいて大学の成績予測する場合のリスクなど[52]）。
Algorithmic effects アルゴリズムによる影響
Simple models with fewer parameters are often used because they tend to be less expensive to build, more explainable and more transparent, and easier to implement. However, such models can exacerbate statistical biases because restrictive assumptions on the training data often do not hold with nuanced demographics.
パラメータが少ない単純なモデルは、構築コストが低く、説明可能で透明性が高く、実装が簡単な傾向があるため、しばしば使用されます。しかし、このようなモデルは、統計的バイアスを悪化させる可能性があります。なぜなら、学習データに対する限定的な仮定は、ニュアンスの異なるデモグラフィーではしばしば成立しないからです。
Furthermore, designers who must make decisions on what variables to include or exclude can impart their own cognitive biases into the model [112, 184].
さらに、どの変数を含めるか、あるいは除外するかを決定するモデルの設計者自身の認知バイアスが、モデルにバイアスをもたらす可能性があります[112, 184]。
Complex models are often used on nonlinear, multimodal data such as text and images. Such models may capture latent systemic bias in ways that are difficult to recognize and predict.
一方で、複雑なモデルは、テキストや画像などの非線形でマルチモーダルなデータでよく使用されます。このようなモデルには、潜在的なシステミックバイアスを、識別や予期しにくい形で内包してしまうリスクがあります。
Validity 妥当性
Many difficulties and flaws can arise in system validation. A common challenge in system testing is a lack of ground truth, or noisy labeling and other annotation factors which make it difficult to know what is accurate.
システムの検証では、多くの困難や欠陥が生じる可能性があります。システムテストにおける共通の課題は、グランドトゥルースの欠如、あるいはノイズの多いラベリングやその他のアノテーション要因によって、何が正確なのかを知ることが困難であることです。
The use of proxy variables compounds this difficulty, since what is being measured isn’t directly observable. Performing system tests under optimal conditions — or conditions that are not close to the deployed state — is another challenging design flaw.
プロキシ変数（訳注：直接測定できない変数に対して利用する代理変数）の使用は、測定対象が直接観測可能でないため、この困難をさらに悪化させます。システムテストを最適な条件、つまりデプロイされた状態に近くない条件で行うことは、さらに設計上の欠陥を生じます。
Also the practice of “stratified performance evaluations,” [103] where system performance is analyzed across segments in the training or test data, whether demographic segments or otherwise, is a basic consideration for understanding system validity across a population of users.
また「データセグメント別の性能評価」[103]の実践において、学習データまたはテストデータのセグメント（人口統計学的セグメントまたはその他）にわたってシステム性能を分析しますが、これはユーザー母集団全体にわたってシステムが妥当であるか否かを理解するために重要な検討事項です。
Validation and deployment バリデーションとデプロイメント
Validation also means ensuring that the system is not being used in unintended ways.
バリデーションとは、システムが意図しない使われ方をしていないことを確認することでもあります。
DEPLOYMENT BIAS happens when an AI model is used in ways not intended by developers.
デプロイメントバイアス（訳注：モデル開発時に想定していたことと異なる目的で、AIの出力結果を利用してしまうことに起因するバイアス）は、AIモデルが開発者の意図しない方法で使用されたときに起こります。
Emergent bias happens where the model is used in unanticipated contexts.
イマージェントバイアス（訳注：モデル開発時の設定とは異なるドメイン分野で、AIが使用されてしまうことに起因するバイアス。多くのケースでは精度劣化に繋がる）は、モデルが予期せぬコンテキストで使用された場合に起こります。
Developers of an algorithm used by major U.S. cities to assist in coordinating housing to homeless people began phasing it out after several cities inappropriately used the algorithm as an assessment tool rather than as the presecreening tool as it was designed[185].
米国の主要都市において、ホームレスへの住居提供を支援するために開発されたアルゴリズムが、いくつかの都市において、想定していた予備審査ツールとしてではなく、不適切な評価ツールとして使用されたことから、段階的に使用を中止することになりました[185]。
In another instance, the Chicago Police Department decommissioned an algorithm designed to predict the risk that an individual might be involved in future gun violence, citing unintended use and misapplication of the model [186].
別の例では、シカゴ警察において、ある個人が将来銃乱射事件を引き起こす危険性を予測するアルゴリズムを開発しましたが、それが意図しない形で使用されたり誤って適用されるケースがあったとして廃止しています。
Without system validation, an AI system could be released that is technically flawed or fails to establish appropriate underlying mechanisms for proper functioning [188–190].
システム検証が行われなければ、技術的に欠陥のある、あるいは正しく機能するための適切な基礎的メカニズムを確立できないまま、AIシステムがリリースされてしまう可能性があります [188–190]。
AI systems as magic 魔法のようなAIシステム
High-level machine learning libraries and reduced costs of cloud computing have made AI more affordable and easier to develop. As a result, AI development is becoming increasingly democratized. Still, AI itself remains largely opaque — deep neural networks and Bayesian inference require advanced mathematics to understand.
ハイレベルな機械学習ライブラリーとクラウドコンピューティングのコスト削減により、AIはより安価で容易に開発できるようになりました。その結果、AI開発はますます民主化されてきています。しかしながら、ニューラルネットワークやベイズ推定を理解するには高度な数学が必要であり、AIそのものはまだ不透明な部分が多いのも事実です。
3.2.2 TEVV Guidance
TEVV(Test, Evaluation, Validation, and Verification)ガイダンス
To mitigate the risks stemming from epistemic and aleatoric uncertainties, model developers should work closely with the organizations deploying them. Teams should work to ensure periodic model updates, and test and recalibrate model parameters on updated representative datasets to meet the business objectives while staying within desired performance targets and acceptable levels of bias.
EpistemicあるいはAleatoric不確実性に起因するリスクを軽減するために、モデル開発者はそれを導入する組織と緊密に連携する必要があります。チームは、定期的なモデルの更新を確実に行い、更新された代表的なデータセットでモデルパラメータのテストと再キャリブレーションを行い、望ましい性能目標と許容できるレベルのバイアスの範囲内で、ビジネス目標を達成するように努力するべきです。
Algorithms アルゴリズム
In ML, it is not meaningful to assign bias to the model or algorithm itself without contextual information about the specific tasks on which they may be used. This links the model and algorithm to the dataset on which they are trained and tested
機械学習において、モデルやアルゴリズムが使用される具体的なタスクに関するコンテキスト情報なしに、バイアスを定義することは意味がありません。こうしたコンテキストが、モデルやアルゴリズムを学習・テストするデータセットと関連付けるのです。
When considering approaches to mitigating algorithmic bias in a specific task context, recent literature categorizes debiasing methods into one of three categories [62, 86, 195, 198]:
特定のタスクのコンテキストにおいてアルゴリズムのバイアスを軽減するアプローチを検討する場合、 最近の文献では、その手法を以下3つのカテゴリに分類しています [62, 86, 195, 198]。
1. Pre-processing:
transforming the data so that the underlying discrimination is mitigated. This method can be used if a modeling pipeline is allowed to modify the training data.
根本的な差別が緩和されるようにデータを変換する。この方法は、モデリングパイプラインが学習データを修正することを許可されている場合に使用することができる。
2. In-processing:
techniques that modify the algorithms in order to mitigate bias during model training. Model training processes could incorporate changes to the objective (cost) function or impose a new optimization constraint.
モデル学習中のバイアスを軽減するためにアルゴリズムを修正する技術。モデルの学習過程では、目的関数（損失関数）の変更や、新たな最適化制約を課すことができる。
3. Post-processing:
typically performed with the help of a holdout dataset (data not used in the training of the model). Here, the learned model is treated as a black box and its predictions are altered by a function during the post-processing phase. The function is deduced from the performance of the black box model on the holdout dataset. This technique may be useful in adapting a pre-trained large language model to a dataset and task of interest.
通常、ホールドアウトデータセット（モデルの学習に使用しなかったデータ）の助けを借りて行う。ここでは、学習したモデルをブラックボックスとして扱い、その予測値を後処理の段階で、ある関数によって変換する。この関数は、ホールドアウトデータセットにおけるブラックボックスモデルの性能から導き出される。この手法は、事前に学習された大規模言語モデルを、関心のあるデータセットやタスクに適応させる際などに有用であると考えられる。
Fairness metrics フェアネス（公平性）メトリクス
The plethora of fairness metric definitions illustrates that fairness cannot be reduced to a concise mathematical definition. Fairness is dynamic, social in nature, application and context specific, and not just an abstract or universal statistical problem. Therefore, it is important to adopt a socio-technical approach to fairness in order to have realistic fairness definitions for different contexts as well as task-specific datasets for machine learning model development and evaluation.
公平性の指標の定義が数多くあることは、公平さを簡潔な数学的定義に還元できないことを物語っています。公平性は、ダイナミックで社会的な性質を持っており、アプリケーションやコンテキストに依存し、抽象的または普遍的な統計的問題ではありません。したがって、機械学習モデルの開発と評価のために、タスクに特化したデータセットを持つのと同様、異なるコンテキストに対する現実的な公平性の定義を得るために、公平性に対して社会技術的なアプローチを採用することが重要です。
3.3 Who makes decisions and how do they make them? Human Factors in AI Bias
意思決定は誰が、どのように行うのか？AIバイアスの人的要因
3.3.1 Human Factors Challenges 人的要因の課題
Computational decision support systems augment another, typically human, system in making decisions.
コンピュータによる意思決定支援システムは、意思決定を行う際、他のシステム（通常は人間）を補完するために使用されます。
Comparatively, for algorithmic decision systems there is less human involvement, with the AI system itself more in the “driver’s seat,” and able to produce outcomes with little human involvement to govern the impact.
一方、アルゴリズムによる意思決定システムでは、人間の関与は少なく、AIシステム自体が「運転席」に座り、影響を管理するために人間がほとんど関与しなくても結果を出すことができます。
Organizations that deploy AI models and systems without assessing and managing these risks can not only harm their users but jeopardize their reputations.
これらのリスクを評価・管理せずにAIモデルやシステムをデプロイする組織は、ユーザに実害も齎すだけでなく、レピュテーションリスクに晒される可能性があります。
Deployment Context of Use デプロイメント時の使用環境
AI systems are designed and developed to be used in specific real world settings, but are often tested in idealized scenarios. Once deployed, the original intent, idea, or impact assessment can drift as the application is repurposed or used in unforeseen ways, and in settings or contexts for which it was not originally intended. Different deployment contexts means a new set of risks to be considered.
AIシステムは、現実の特定の環境で使用されることを前提に設計・開発されますが、一方で、理想化されたシナリオの元でテストされることも少なくありません。一旦デプロイされると、アプリケーションが別の目的で再利用されたり、予期せぬ方法で使用されたり、元々意図されていなかった設定やコンテキストで使用されるため、設計当初の意図、アイデア、影響評価から外れてくる可能性があります。デプロイメントの仕方が異なるということは、新しいさまざまなリスクも考慮すべきだということです。
Human-in-the-loop ヒューマンインザループ
The default assumption is that placing a human “in-the-loop” of such systems can ensure that adverse events do not occur. Current perceptions about the role and responsibility of the human-in-the-loop with AI are often implicit, and expectations about level of performance for these systems are often based on untested or outdated hypotheses.
このようなシステムのループ内に人間を配置することで、有害な事象が発生しないようにできるというのが、デフォルトの前提として考えられています。一方でAIにおける人間の役割と責任に関する現在の認識は、しばしば暗黙的であり、こうしたシステムの性能レベルに関する期待は、未検証または時代遅れの仮説に基づいていることが多いのです。
The reality however is that without significant procedural and cultural support, optimistic expectations about how humans are able to serve in this administrative capacity are not borne out in practice.
現実的には、しっかりと確立された手続き及び文化的なサポートがなければ、人間がこうした管理能力を発揮できるという楽観的な期待は、簡単に裏切られることになります。
Reliance on various downstream professionals to act as a governor on automated processes in complex societal systems is not a viable approach
複雑な社会システムの自動化プロセスにおいて、さまざまな産業分野の専門家に、ガバナーとしての機能を依存することは、実行可能なアプローチではありません。
3.3.2 Human Factors Guidance 人的要因に関わるガイダンス
Human–AI configuration 人間とAIを絡めたシステム設計
NIST seeks to develop formal guidance about how to implement human-in-the-loop processes that do not amplify or perpetuate the many human, systemic and computational biases that can degrade outcomes in this complex setting. Identifying system configurations and necessary qualifications for their components that result in outcomes that are accurate and trustworthy will be a key focus.
NISTは、この複雑な環境において、結果を悪化させる多くの人的バイアス、システミックバイアス、あるいは計数的なバイアスを増幅したり永続させないための、ヒューマンインザループのプロセスの正式な実装ガイダンスを開発することを目指しています。正確で信頼できる結果を得ることができるシステム構成と、その構成要素に必要な要件を特定することが、重要な焦点となります。
Keeping humans at the center of AI design AI設計の中心に人間を据える
Human-centered design (HCD) is an approach to the design and development of a system or technology that aims to improve the ability of users to effectively and efficiently use a product.
人間中心の設計（HCD）とは、システムや技術の設計・開発において、ユーザーが製品を効果的・効率的に使用できるようにすることを、その目的としたアプローチのことです。
A deep understanding of contextual factors is important throughout the AI life- cycle. Context of use does not simply involve the users’ context of use, it involves a much broader view of context: the organizational environment in which the AI system is being developed (including existing systems and products); the operational environment in which the system will be used; and the larger societal environment in which the system will be implemented.
AIのライフサイクルを通じて重要なのは、コンテキスト要因の深い理解です。使用環境とは、単にユーザーの使用環境を指すのではなく、もっと広い範囲のコンテキストが含まれます。例えば、AIシステムが開発される組織環境（既存のシステムや製品を含む）、システムが使用される業務環境、そしてシステムが導入される、より大きな社会環境などです。
In the context of AI, this means placing humans in the loop, not only through meaningful human control [256], but also through their active participation in the preparation, learning, and decision-making phases of AI [257].” Human-centered AI (HCAI) is an emerging area of scholarship that reconceptualizes HCD in the context of AI, providing human-centered AI design metaphors and suggested governance structures to develop reliable, safe, and trustworthy AI systems [258].
AIのコンテキストでは、これは人間が有意義な制御を行うというだけでなく[256]、AIの準備、学習、意思決定の段階への積極的な参加を通じて、人間をそうしたループ内に置くことを意味します[257]。人間を中心に置いたAI（HCAI）は新しい学問領域であり[258]、AIのコンテキストでHCD（人間中心の設計）を再認識させ、人間を中心に置いたAIの設計とは何を意味するのか、信頼できる、安全で、信用可能なAIシステムを開発するためのガバナンスはどうあるべきかを、私達に考えさせてくれます。
3.4 How do we manage and provide oversight? Governance and AI Bias どうやって管理・監視を行うか？ガバナンスとAIバイアス
3.4.1 Governance Guidance ガバナンスガイダンス
Monitoring モニタリング
AI systems may perform differently than expected once deployed, which can lead to differential treatment of individuals from different groups. A key measure to control this risk is to deploy additional systems that monitor for potential bias issues, which can alert the proper personnel when potential problems are detected.
AIシステムは、一旦デプロイされると予想と異なる動作をすることがあり、ある個人を他のグループの人達と差別的に取り扱う可能性があります。こうしたリスクを制御するための重要な対策は、潜在的なバイアスの問題をモニタリングするシステムを追加配備し、潜在的な問題が検出されたときに適切な担当者に警告できるようにすることです。
Without such monitoring in place, it can be difficult to know if deployed system performance in the real world matches up to the measurements conducted in a laboratory environment, or whether newly collected data match the distribution of the training data.
このようなモニタリングが実施されないと、実世界に導入したシステムの性能が実験室環境で行った測定値と一致しているのかどうか、あるいは、新たに収集したデータが学習データの分布と一致しているかどうかを知ることは困難となってしまいます。
A key consideration for the success of live monitoring for bias is the collection of data from the active user population, especially data related to user demographics such as age and gender, to enable calculation of assessment measures. These type of data can have a variety of privacy implications and may be subject to legal restrictions on what types of data can be collected and under what conditions.
バイアスに対するモニタリングを成功に導くために考慮すべき重要な点は、アクティブユーザーの母集団からデータを収集すること、特に年齢や性別などのユーザーのデモグラフィーに応じたデータを収集して評価指標を算出できるようにすることです。こうしたデータは、さまざまなプライバシーに関わる可能性があり、どのような種類のデータをどのような条件で収集できるかについては、法的規制の対象となる場合があります。
Policies and Procedures ポリシーと手順の文書化
In the context of AI systems, ensuring that written policies and procedures address key roles, responsibilities, and processes at all stages of the AI model lifecycle is critical to managing and detecting potential overall issues of AI system performance.20 Policies and procedures can enable consistent development and testing practices, which in turn can help to ensure that results from AI systems are repeatable and that related risks are consistently mapped, measured and managed. Without such policies, the management of AI bias can easily become subjective and inconsistent across organizations, which can exacerbate risks over time rather than minimize them — if, for example, irreconcilably different metrics are used across systems.
AI システムの性能に関わる潜在的な問題を一括して管理し検出するためには、AI モデルの全てのライフサイクルステージにおいて、役割、責任、およびプロセスに対応するポリシーと手順を文書化することが、極めて重要です20。ポリシーと手順を定めることで、首尾一貫した開発およびテストを実施することが可能になり、それによって、AI システムからの結果の再現性が保証され、関連するリスクを齟齬無くマッピング、測定、管理することが可能になります。このようなポリシーがなければ、AI バイアスの管理は、組織間で主観的で一貫性のないものになりやすく、例えば、異なる基準を元にAIシステムの性能測定を行った場合、リスクを最小限に抑えるどころか、長期的にリスクを悪化させる可能性があります。
Accountability アカウンタビリティ（説明責任）
Accountability plays a critical role in governance efforts [261]. Governance without accountability is, in practice, unlikely to be effective. Ensuring that a specific team, and often, a specific individual — such as a Chief Model Risk Officer, as is now common in large consumer finance organizations — is responsible for bias management in AI systems is a fundamental accountability mechanism.22
アカウンタビリティは、ガバナンスの取り組みにおいて重要な役割を果たします[261]。アカウンタビリティのないガバナンスは、実際には、効果的であるとは考えにくいです。特定のチーム、そして、多くの場合、特定の個人、例えば、大規模な消費者金融組織で現在一般的であるような最高モデルリスク責任者が、AIシステムにおけるバイアス管理に責任を持つことを保証することは、基本的な説明責任のメカニズムです。
Accountability for AI bias cannot lie on the shoulders of a single individual, which is why accountability mandates should also be embedded within and across the various teams involved in the training and deployment of AI systems.
但し、AIバイアスに対する説明責任は、一個人の肩にかかるものではありません。だからこそ、説明責任の責務は、AIシステムの学習とデプロイメントに関わる様々なチーム内およびチーム全体にも組み込まれるべきなのです。
Model or algorithmic audits [264] can be used to assess and document such crucial accountability considerations. There are several notions of audits commonly discussed in the responsible and trustworthy AI communities. Audit may refer to a traditional internal audit function employed to track issues of model risk, as in traditional model governance. Audit may refer to a structured and principled application of lessons learned in financial audit practices to AI systems [265]. Alternatively, audit may refer to some general documentation and transparency approach. Audits can be an effective accountability, bias, and general risk mitigation mechanism.
モデル監査やアルゴリズム監査 [264] は、このような重要な説明責任の検討事項を評価し、文書化するために有効です。責任ある信頼できるAIコミュニティでよく議論される監査には、いくつかの概念があります。監査は、従来のモデルガバナンスのように、モデルリスクの問題を追跡するために採用された伝統的な内部監査機能を指す場合があります。監査は、財務監査実務で学んだ教訓をAIシステムに構造的かつ原則的に適用することを指すかもしれません[265]。あるいは、監査は、何らかの一般的な文書化及び透明性のアプローチを指すかもしれません。監査は、効果的な説明責任、バイアス、及び一般的なリスク軽減のメカニズムになり得ます。
Three lines of defense スリーライン・オブ・ディフェンス
Model risk management frameworks, for example, are often systematically implemented through the so-called “three lines of defense,” which creates separate teams that are held accountable for different aspects of the model lifecycle. Typically, the first line of defense focuses on model development, the second on risk management, and the third on auditing.[24]
例えば、モデルリスク管理のフレームワークは、いわゆる「3つの防衛線」を通じて体系的に実施されることが多く、モデルライフサイクルの異なる側面に対して責任を負う別々のチームが作られます。典型的には、第一の防衛ラインはモデル開発、第二の防衛ラインはリスク管理、第三の防衛ラインは監査に焦点を当てます。[24]
Information Sharing 情報の共有
Identifying internal mechanisms for teams to share information about bias incidents or other harmful impacts from AI helps to elevate the importance of AI risks and provides information for teams to avoid past failed designs.
AIによるバイアスやその他の有害な影響に関する情報をチームで共有するための社内メカニズムを明確にすることは、AIリスクの重要性を高め、チームが過去の失敗した設計を回避するための情報をシェアするのに役立ちます。
As teams begin to create norms for tracking such incidents, it can potentially transform AI practices and the organizational culture. Improving awareness of how bias presents in deployed AI and its related impacts can enhance knowledge and capabilities, and prevent incidents. Fostering a culture of information sharing can also serve as a new area for community engagement.
チームがこのようなインシデントを追跡するための規範を作り始めることで、AIの実践と組織文化を変革できる可能性があります。デプロイされた AI にどのようなバイアスが見られるか、またそれに関連する影響についての認識を高めることで、知識と能力を高め、インシデントを防止することができます。また、情報共有の文化を醸成することで、コミュニティへの新たなエンゲージメントの場となります。
4. Conclusions 結論
NIST has provided an initial socio-technical framing for AI bias in this document, including key context and terminology, highlights of the main challenges, and foundational directions for future guidance. This information is classified and discussed through the document according to three key areas:
NISTは、本報告書において、AIバイアスに関する最初の社会技術的な枠組みを提案し、その中で、主要なコンテキストと用語の定義、主要な課題のハイライト、将来に向けたガイダンスの基礎となる方向性等を明らかにしました。これらの情報は、本報告書を通じて以下3つの主要な分野に従って分類され議論しました。
- dataset availability, representativeness, and suitability in socio-technical contexts;
社会技術的文脈におけるデータセットの利用可能性、代表性、適合性。
2. TEVV considerations for measurement and metrics to support testing and evaluation;
テストと評価を支援するための測定と測定基準に関する TEVV の検討。
3. human factors, including societal and historic biases within individuals and organizations, participatory approaches such as human-centered design, and human–in–the– loop practices.
個人や組織における社会的・歴史的偏見、人間中心設計のような参加型アプローチ、ヒューマンインザループの実践を含む人的要因。
The intent is for this guidance to be of specific assistance for organizations who commission, design, develop, deploy, use, or evaluate AI for a variety of use cases. By providing these entities with clear, explicit, and technically valid guidance NIST intends to improve the state of practice for AI bias and assure system trustworthiness.
このガイダンスは、様々なユースケースにおいて、AIを委託、設計、開発、デプロイ、使用、評価する組織にとって具体的な助けとなることを意図しています。NISTは、これらの組織に明確かつ明示的で、技術的に有効なガイダンスを提供することで、AIバイアスに関する実践状況を改善し、システムの信頼性を保証することを目指しています。
本ブログを最後までお読みになっていただき、有難うございました。
従来のソフトウェアと異なり、AIは繊細で容易に品質が劣化してしまいます。人手によるデバッグには、多くの時間と労力を要し非常に困難です。
株式会社Citadel AI では、開発から運用に至る全てのAIのライフサイクルステージにおいて、AIの異常を瞬時に自動検知・防御するシステムを提供しています。
ビジネスやコンプライアンス・セキュリティ上のAI固有の新たなリスクに対し、企業の皆様がプロアクティブに対処頂けるよう、少しでも皆様のお役に立てることを願っています。
ご意見・ご要望は、info@citadel.co.jp までお知らせください。
