一般社団法人 次世代社会システム研究開発機構

［出版日］

2024年12月11日

［ページ数］

A4判／約400ページ
（※　バインダー製本とPDF版では編集上の違いによりページ数が若干異なります。）


［発行＜調査・編集＞］

監修・発行：　一般社団法人 次世代社会システム研究開発機構


［レポート内容］

■概要■

大規模言語モデル（LLM）および生成AIは、人間のフィードバックからの強化学習（RLHF）などを採用しながら、長時間の対話中に人間の嗜好から学習し理解することを可能にしている。また、昨今では、生成AIの性能をさらに向上させるために、生成AIと統合する新しい技術が継続的に探求されている。

しかし、LLMおよび生成AIは、きわめて有用であることが実証されている一方で、一見合理的に見えるが事実の正確さに欠けるコンテンツを生成する可能性があるため、研究者や実務者の間で懸念が提起されている。この問題は、反実仮想的な回答や無意味な回答を生み出すことにつながり、生成されたコンテンツの信頼性を深刻に脅かす可能性がある。また、LLMおよび生成AIよって生成された虚偽の語りは、合法的なものと容易に間違われたり、ステレオタイプ、偏った反応などを引き起こす可能性が指摘されている。

本白書は、LLM／生成AIの将来と、この技術をより信頼性の高い有用なものにするために、現在、もっとも重みのある課題となっている「責任あるAI、説明可能なAI」において喫緊に取り組むべき課題を認識し、未解決の課題と今後の探求の方向性を示すことを目的としている。

また、本白書は、大規模言語モデルと生成AIの開発と利用における更なる進歩だけでなく、モデルの偏り、解釈可能性、計算資源要件、倫理的配慮など、実世界のシナリオにLLM／生成AIを導入する際の課題を探ることを目的としている。

本白書では、LLM／生成AIのロバスト性と制御性を強化し、生成AIにおけるバイアス、公平性、品質の問題に対処するための技法も取り上げ、包括的・体系だって解説している。


■内容編成（目次）■

序

第1章　責任あるAI・大規模言語モデル／説明可能なAI・大規模言語モデル　概説

1-1　概要
1-2　概念の定義・背景
1-3　責任あるAI（RAI）の重要性
1-4　責任あるAI・説明可能なAIで対象とする範囲
1-5　責任あるAIと呼ばれるガバナンスパラダイム
1-6　「責任あるAI」に関する意識調査
1-7　責任あるAIと法規制における企業の説明責任を果たすための要件
1-8　説明責任と説明可能性


第2章　責任ある生成AI・大規模言語モデル導入のためのベストプラクティス

2-1　概説
2-2　真実性、事実性
2-3　事実性評価、事実誤認の識別に対処するための手法
2-4　AIモデルのアライメントと頑健性を向上させる方法
2-5　短絡技術によるAIの安全性と信頼性の向上
2-6　事例／ケーススタディ


第3章　大規模言語モデル（LLM）・生成AIが抱えるリスクと規制

3-1　概説
3-2　リスクと強制力を重視する「ハード・ロー」と、技術の促進を重視する「ソフト・ロー」のせめぎあい
3-3　各国の状況
　　［1］　EU
　　［2］　米国
　　［3］　中国
　　［4］　日本
3-4　AIリスクの法制化・規制状況
　　［1］　概説
　　［2］　EU、リスクベースの規則を提案 AIアプリケーションをリスクベースの階層に分け、禁止する規則案を提出
　　［3］　欧州議会の決議
3-5　各国の法制化動向
　　［1］　欧州連合（EU）
　　［2］　米国
　　［3］　中国
　　［4］　シンガポール
　　［5］　日本
3-6　AI・LLMのハイレベルな枠組みを巡る動向
　　［1］　定義・対象とする範囲
　　［2］　AIイノベーションの優位性をめぐる競争
　　［3］　システミック・リスクは法的明確性よりも優先されるべきである
　　［4］　法的明瞭性の優先順位低下
3-7　関連研究
　　［1］　「ファンデーションモデルに対する規制の優先順位」


第4章　規制遵守とLLM／生成AI

4-1　概説
4-2　GRC（ガバナンス、リスク、コンプライアンス）
4-3　長い形式のテキスト判例とコンサルテーションペーパー
4-4　分類方法
4-5　法律による義務
　　［1］　LLMベースのエキスパートシステム
　　［2］　生成AIによる問題軽減
4-6　関連ツール
　　［1］　Gracenote


第5章　責任あるLLM／説明可能なLLMに関連する規制上の課題

5-1　責任あるAIの安全基準確保の課題
5-2　責任あるAIの制御性確保
5-3　AIにおける倫理コンプライアンス
5-4　責任あるAIの透明性と説明責任
5-5責任あるAIとAIセキュリティ強化
5-6　各業界の基準


第6章　説明可能なAIフレームワーク

6-1　説明可能なAIフレームワーク　概説
6-2　説明可能なAIの応用例


第7章　倫理的AI・倫理的LLMのフレームワーク

7-1　倫理的AI・倫理的LLMの指導原則
7-2　倫理的AI・倫理的LLMの用途


第8章　LLMのリスクおよび信頼性向上の課題・対策［1］

8-1　概説
　　［1］　概況
　　［2］　大規模言語モデルの利用に対するWHOの懸念
8-2　LLMにおける学習データの偏り
8-3　フェイクニュースの生成、誤情報の拡散、世論操作の可能性
8-4　透明性の欠如
8-5　言語と文化的バイアス
8-6　バイアス、毒性、説明可能性
8-7　精度（幻覚）
8-8　プライバシーとデータセキュリティ
8-9　著作権侵害問題
8-10　言語モデルトレーニングで記事や画像のスクレイピングを巡る法廷闘争


第9章　LLMのリスクおよび信頼性向上の課題・対策［2］

9-1　LLMの監査プロセスの構築
9-2　膨大なメモリと計算能力
9-3　スループット指向の生成推論
9-4　逆スケーリングを示すタスクの問題
9-5　LLMのAPIを利用するためのコスト
9-6　LLMを用いたLLM品質の自動評価（LLM-as-a-judge）
　　［1］　LLMの選択肢の広がりと評価基準
　　［2］　注目を集めるLLM-as-a-judge
9-7　中立的な視点
9-8　開発コスト／推論コスト
9-9　インフォデミックリスク


第10章　LLM・生成AIに内在する問題（知識ベースの時間的制約、複雑な数学的計算、幻覚等）の解決の道筋

10-1　概説
　　［1］　基本的なLLMを超えるアプローチ
　　［2］　検索拡張世代（RAG）フレームワーク
　　［3］　複雑な問題解決のためのReActフレームワーク
　　［4］　LLMアプリケーション構築のためのLangChain
　　［5］　言語モデルにおけるトランスフォーマー・アーキテクチャーの調査
10-2　関連研究
　　［1］　llmsuiteで高度な大規模言語モデルを探求する


第11章　大規模言語モデル・生成AI活用と情報およびデータの品質管理／データ検証

11-1　概説
　　［1］　データ管理とAI・生成AI
　　［2］　生成AIのデータ管理への影響
11-2　AIを活用したデータ管理における企業における実践的アプローチ
11-3　データ管理のベストプラクティス
11-4　マイクロサービスと生成AIによるマスターデータ管理


第12章　より説得力のあるLLM／強いモデルの研究開発をめぐる状況

12-1　概説
12-2　強いモデルを監督しようとするアプローチ
12-3　関連研究
　　［1］　ユニバーシティ・カレッジ・ロンドン・スピーチマティクス　「より説得力のあるLLMとのディベートは、より真実味のある回答を導く」


第13章　説明可能なAIと大規模言語モデル

13-1　説明によって意思決定時のAIシステムへの過度な依存を軽減するアプローチ
13-2　関連研究
　　［1］　スタンフォード大学　「意思決定AIシステムの戦術的判断をコスト・ベネフィット・フレームワークで定式化・検証」


第14章　倫理的ジレンマとLLM／生成AI

14-1　概説
14-2　倫理性・透明性要件を課すガイドライン
14-3　混合アプローチ


第15章　大規模言語モデル・生成AIの事実性評価ベンチマーク

15-1　概説
15-2　事実性検出の先行ベンチマーク
15-3　関連研究
　　［1］　香港城市大学／カーネギーメロン大学他研究チーム　「FELM: 大規模言語モデルの事実性評価ベンチマーク」


第16章　LLM・生成AIのリサーチ・ツールとしての信頼性評価

16-1　概説
16-2　リーガルAIの台頭とリスク
16-3　幻覚問題
16-4　RAGの限界
16-5　法的幻覚の概念化
16-6　正確性をめぐる検討事項
16-7　法的RAGシステムにおける幻覚
16-8　AI主導のリーガル・リサーチ・ツール
16-9　関連研究
　　［1］　スタンフォード大学他研究チーム　「主要なAIリーガル・リサーチ・ツールの信頼性を評価する」


第17章　透明で解釈可能なLLM・生成AIに向けた協調的な取り組み

17-1　概説
17-2　関連研究
　　［1］RAGを用いたLLMによる特徴の重要度から自然言語による説明へ


第18章　LLM／生成AIの安全性強化に向けた取り組み

18-1　生成AI／LLMの安全性
18-2　生成AI／LLMの安全性評価における課題
18-3　方法とデータ入手における課題
18-4　生成AI／LLMの安全性評価のための技法
　　［1］　アルゴリズム監査と全体論的評価
　　［2］　直接評価
　　［3］　探索的評価（Exploratory evaluation）
18-5　生成AI／LLMの安全性評価のためのベンチマーク
18-6　生成AI／LLMの安全性をベンチマークする主なプロジェクト


第19章　LLM／生成AIのロバスト性（信頼性・堅牢性）の向上策

19-1　概説
　　［1］　LLMの幻覚
　　［2］　高度なRAG
19-2　関連研究
　　［1］　グーグル・リサーチ他研究チーム　「修正検索 拡張世代」


第20章　検索補強と自己反省によるLLM・生成AIの品質向上・事実性向上

20-1　概説
20-2　RAG（検索補強型生成）
20-3　自己反省型検索拡張生成（Self-Reflective Retrieval-augmented Generation: SELF-RAG）
20-4　関連研究
ワシントン大学／アレンAI研究所　「セルフラグ：自己反省を通じて、検索、生成、批評することを学ぶ


第21章　LLM・生成AIにおけるデータセットのライセンスと帰属に関する監査

21-1　概説
21-2　データ解析と探索
21-3　透明性と説明責任
21-4　データセットの合法性


第22章　LLM・生成AIとテクニカル・アライメント問題

22-1　概説
22-2　存続リスクとLLMのオープンソース化
22-3　技術的な整合性を高めるオープンソースLLM
22-4　パワーバランスの維持に役立つオープンソースLLM
22-5　分散型調整メカニズムの開発に役立つオープンソースLLM


第23章　LLM／生成AIルのアライメントとロバスト性を向上させるための対処法

23-1　概説
23-2　LLMに対する敵対的攻撃と対策
23-3　関連研究
　　［1］　ブラック・スワンAI他研究チーム　「アライメントとロバスト性を向上させるサーキットブレーカー」


第24章　LLM・生成AIにおける幻覚と精度の課題

24-1　概説
24-2　幻覚／人工幻覚
　　［1］　概説
　　［2］　LLMの幻覚回避策／データからメタデータへ
24-3　幻覚の検出ソリューション
24-4　関連ツールおよびソリューション
24-5　関連研究
　　［1］　スタンフォード大学、イェール大学研究チーム　「法律研究におけるAIの信頼性の評価：幻覚と精度の課題」


第25章　大規模視覚言語モデル（LVLM）と物体幻覚の問題

25-1　概説
　　［1］　視覚的な命令チューニング
　　［2］　視覚的プロンプト
　　［3］　オブジェクトの幻覚
25-2　関連研究
　　［1］　ミシガン大学他研究チーム　「視覚言語モデルにおける多視点幻覚」


第26章　LLM／生成AIにおける幻覚の問題と対処法

26-1　概説
26-2　事例


第27章　LLM／生成AIの脆弱性リスクと対処

27-1　概説
27-2　LLMにおける敵対的攻撃の現状と対策
27-3　研究チーム、参入企業動向
　　［1］　米国国立生物工学情報センター（NCBI）、米国国立医学図書館（NLM）、メリーランド大学カレッジパーク校研究チーム　「ヘルスケアAIの保護：LLM操作リスクの暴露と対処」


第28章　LLM／生成AI脱獄攻撃の現状と対策

28-1　概説
28-2　テキストベースの脱獄攻撃
28-3　視覚的脱獄攻撃
28-4　整列LLMの脱獄
28-5　LLMデコーディング
28-6　関連研究
　　［1］　カリフォルニア大学サンタバーバラ他研究チーム　「大規模言語モデルにおける弱い脱獄から強い脱獄へ」


第29章　LLM／生成AIと脱獄技術の進化

29-1　概説
29-2　LLMの脱獄対抗戦略を構成する3つのカテゴリー
　　［1］　ヒューマンデザイン
　　［2］　ロングテール・エンコーディング
　　［3］　プロンプト最適化
29-3　関連研究
　　［1］　復旦大学コンピューターサイエンス学院他研究チーム　「EasyJailbreak：大規模言語モデルを脱獄するための統一フレームワーク」


第30章　プライバシーを保持する大規模言語モデル(PPLLMs）

30-1　概要
30-2　定義と暗号構成
30-3　安全な多項式と行列ベクトルの委譲を用いたプライバシー保持LLM (PPLLM)
30-4　考察と今後の研究の方向性


第31章　LLM／生成AIを活用した金融会社のリスク軽減

31-1　金融業界における懸念
31-2　リスクの軽減
31-3　不正のリスク
31-4　幻覚の懸念
31-5　適切なプロンプティング
31-6　関連研究
　　［1］　マーケット大学　「大規模言語モデルを活用した金融会社のリスク軽減」


第32章　LLM／生成AIにおけるプライバシー保護

32-1　概説
32-2　関連研究
　　［1］プライバシーを保持する大規模言語モデル(PPLLMs）


第33章　LLM／生成AIと責任・信頼性・法の未来

33-1　概説
33-2　大規模言語モデルと法の未来
33-3　会話ベースのAI
　　［1］　法律専門家のためのLLM
　　［2］　非専門家のためのLLM
　　［3］　シミュレーションとしてのLLM
33-4　関連研究
　　［1］　大規模言語モデルと法の未来


第34章　責任あるAIのためのツールキット

34-1　TensorFlow Privacy
34-2　TensorFlow Federated
34-3　TensorFlow Model Remediation
34-4　TensorFlow Data Validation
34-5　Microsoft Responsible AI Toolbox
34-6　XAI
34-7　Deon
34-8　Model Card Toolkit
34-9　AI Fairness 360
34-10　Fairlead
34-11　DALEX
34-12　Fawkes
34-13　TextAttack
34-14　AdverTorch


第35章　説明可能なAIフレームワーク

35-1　Whatif Tool（WIT）
35-2　ELI5
35-3　Skater
35-4　SHAP
35-5　LIME
35-6　DeepLIFT
35-7　AIX360


第36章　業界団体

36-1　AIアライアンス
36-2　一般社団法人 Generative AI Japan
他

第37章　主要プレーヤーの動向

37-1　グーグル
37-2　ホワイトハウスの自主的な責任あるAI誓約に新たにコミットした企業群
他