一般社団法人 次世代社会システム研究開発機構

［出版日］

2024年12月11日

［ページ数］

A4判／約1,200ページ
（※　バインダー製本とPDF版では編集上の違いによりページ数が若干異なります。）


［発行＜調査・編集＞］

監修・発行：　一般社団法人 次世代社会システム研究開発機構


［レポート内容］

■概要■

本白書は、大規模言語モデル（LLM）ならびに生成AIの基盤・体系、、機能別の特性、最適化、、ベンチマーク（評価）、課題およびリスク対策、LLMの性能を向上させる最新技法、高度な技法、国際的な研究動向にいたるまで、その最新動向を踏まえながらほぼ網羅的にLLM〜生成AIの全容を解き明かしたレポートである。

LLM は本質的に汎用的なものである。LLMの可能性を最大限に発揮するためには、これらの体系を踏まえ、知識/埋め込みなどでファイン・チューニングし、スケーラブルな方法でコンテクストに特化したLLMを開発することで達成される。

一方、生成AIは複数のモデルを含む大きく広いカテゴリーである。LLMはは生成AIの1つのタイプとして位置づけられる。今後、生成AIは、モデルの開発やチューニングだけではなく、デプロイメント、モニタリングなど運用的側面も今後重視されることになるとみられる。そして、AIソリューションのライフサイクル全体をカバーする新しい、柔軟なフレームワークとして発展していくだろう。

本白書は、大規模言語モデル（LLM）や生成AIについて、複眼的、立体的な視点で解明し、より包括的な理解を提供することを目的としている。また、この分野における先端の知識を集約することで、実世界の幅広い応用に向け、貴重なリソースとして役割を果たすことを意図して編纂されている。


■内容編成（目次）■

序

第1章　大規模言語モデル（LLM）／生成AIの基本・体系

1-1　概説
　　［1］　概要
　　［2］　生成系と識別系の言語モデル
　　［3］　LLMを取り巻く主要なトレンド
1-2　大規模言語モデル　概要
　　［1］　大規模言語モデルの仕組み
　　［2］　大規模言語モデルの主な構成要素
　　［3］　LLMの種類
　　［4］　大規模言語モデルと生成系AIIの関係
　　［5］　大規模言語モデルの生成機構
　　［6］　大規模言語モデルの使用パターン
　　［7］　大規模言語モデルの利点
1-3　規範的な言語モデルのタイプ別特性
　　［1］　大規模言語モデル
　　［2］　ファインチューニングされた言語モデル
　　［3］　トランスフォーマーモデル
　　［4］　マルチモーダリティ
　　［5］　エッジ言語モデル
　　［6］　フォワード言語モデルとバックワード言語モデル
1-4　大規模言語モデルの潜在的な可能性
　　［1］　概説
　　［2］　LLMの性能拡張
　　［3］　コンテクスト性／トランスフォーマー・アーキテクチャー
　　［4］　予測可能性／予測精度の高さ
　　［5］　英語以外の言語用のLLMの構築
　　［6］　人工神経回路を追及する先端LLM
　　［7］　将来への展望


第2章　大規模言語モデル／生成AIの体系

2-1　事前学習（Pre-training）
2-2　時系列に対する事前学習
2-3　時系列を用いた対照学習
2-4　ニューラルネットワークとLLM
2-5　トランスフォーマー・モデル アーキテクチャ
2-6　アテンション（注意）メカニズム／アテンションの可視化
2-7　パラメータ
2-8　LLMの用途と種類
2-9　LLMの応用パターン
2-10　多言語言語モデル
2-11　学習データ
2-12　ホワイトカラーの仕事を変える大規模言語モデル


第3章　LLM／生成AIの機能別の特性

3-1　コンテクスト学習／インコンテクスト学習
3-2　CoT（思考の連鎖）
3-3　プロンプトエンジニアリング
3-4　Zero-Shot／Few-Shot／K-Shot
3-5　CodexとInstructGPT
3-6　ユーザーのフィードバックからの強化学習（RLHF）
3-7　コンテクストとデータソース
3-8　外部知識ベース／ベクトルデータベース／ベクトルストア／ベクトルデータベース
3-9　セマンティック検索／類似検索
3-10　フレームワークのライブラリ（SDK）
3-11　RAG（Retrieval-Augmented Generation）
3-12　ファクト・グラウンディング
3-13　システムメッセージの使用
3-14　マルチモーダル機能
3-15　外部ツールへのアクセス許可
3-16　前処理／事前学習／ファインチューニング
3-17　LLMの短期トレーニングとスケーリングの法則
3-18　ファインチューニング（微調整）
3-19　エージェント
3-20　LLMの評価と展開
3-21　トランスフォーマーモデルおよびアプリケーション
　　［1］　機械翻訳
　　［2］　テキスト生成
　　［3］　感情分析
　　［4］　質問応答
　　［5］　固有表現認識
　　［6］　音声認識・合成
　　［7］　画像キャプション


第4章　マルチモーダルLLM／マルチモーダル生成AI

4-1　概説
4-２　マルチモーダルLLMのアーキテクチャ
　　［1］　概説
　　［2］　マルチモーダルエンコーダー
　　［3］　入力モーダルアライナー
　　［4］　上流LLMバックボーン
　　［5］　出力モーダルアライナー
　　［6］　マルチモーダルデコーダー
　　［7］　マルチモーダル思考の連鎖
　　［8］　ビジョン・ランゲージLMM
　　［9］　画像＋テキストからテキストへ
　　［10］　動画＋テキストからテキストへ
　　［11］　画像＋テキストからテキスト＋画像へ
　　［12］　その他モデル
4-3　LLMとマルチモーダルLLMの統一的な視点
4-4　高分解能マルチモーダルLLM
4-5　マルチモーダル融合
　　［1］　エンコーダーベースのモデル
　　［2］　エンコーダー・デコーダー・モデル
　　［3］　言語モデルを使った音声生成
　　［4］　音声対音声翻訳
4-6　マルチモーダル・ビジュアル言語モデル
4-7　マルチモーダルLLMを用いた汎用AIアシスタントの構築
4-8　オープンなモデル「LLaVA-OneVision／LLaVA-NeXT」の貢献
4-9　LLaVA-OneVisionのモデリング
4-10　マルチモーダルLLMに関するの最近の研究動向
4-11　今後の方向性
　　［1］　計算量の削減、トークンの増加
　　［2］　少ない微調整、迅速なエンジニアリング
　　［3］　パラメータの削減とデータセットの増加
4-12　主なマルチモーダルLLM
　　［1］　OpenAI　Sora
　　［2］　Gemini
　　［3］　LLaVA
　　［4］　Stable Diffusion　「StableLM」
　　［5］　Cephalo：バイオインスパイアードデザインの文脈に特化した、オープンソースのマルチモーダル視覚大言語モデル（V-LLM）シリーズ
　　［6］　AudioPaLM（話すことも聞くこともできる大規模言語モデル）
4-13　関連研究
　　［1］　香港中文大学上海AI研究所研究チーム　「DualFocus：マルチモーダル大規模言語モデルにおけるマクロとミクロの視点の統合」
　　［2］　Zhipu AI／清華大学　「画像・映像理解の強化のために設計された新世代の視覚言語モデル：CogVLM2ファミリー」
　　［3］　ByteDance他研究チーム　「LLaVA-OneVision：簡単なビジュアルタスク転送」
　　［4］　深セン大学他研究チーム　」大規模言語モデルから大規模マルチモーダルモデルへ：文献レビュー」
　　［5］　ヴィーグルマルチモーダル表現学習の進歩


第5章　ビデオラージ・ランゲージ・モデル（VLM）

5-1　概説
5-2　最新の研究開発動向


第6章　オープンソースLLM

6-1　概説
6-2　オープンLLM・生成AIのインパクト
6-3　LLM／生成AIモデルのオープンソース化と検討テーマ
6-4　多極化が進むクローズドソースモデルとオープンソースモデルLLM
　　［1］　概説
　　［2］　事前学習
　　［3］　教師ありファインチューニング（SFT）
　　［4］　アライメント
6-5　有償LLMとオープンソースLLM：比較・考慮事項
6-6　企業でオープンソースLLMを活用するための適切なアプローチ決定
　　［1］　概説
　　［2］　オープンソースLLMの戦略的選択
　　［3］　オープンソースLLMのコスト問題
　　［4］　大規模言語モデルのオープンソース化
　　［5］　オープンソースモデルを展開するためのアーキテクチャ
　　［6］　量子化モデルの使用
6-7　オープンソースLLMガバナンス
　　［1］　概説
　　［2］　EU AI法
　　［3］　諸外国におけるAI規制の取り組み
　　［4］　米国大統領令（バイデン）
　　［5］　中国のAI法制
　　［6］　その他地域
6-8　LLM／生成AIモデルの開放性分類法
　　［1］　生成AIコードとデータの開放性を分類する
　　［2］　現在の大規模言語モデルの開放性分類法
6-9　オープンソースLLM評価リポジトリ
　　［1］　概説
　　［2］　OpenAI Evals
　　［3］　OpenAI SimpleEvals
　　［4］　DeepEval
　　［5］　RAGAs
6-10　オープンソースの主な大規模言語モデル
　　［1］　LLaMA（Large Language Model Meta AI）
　　［2］　PaLM／PaLM 2
　　［3］　LaMDA（ダイアログアプリケーション用言語モデル）
　　［4］　LLaMA
　　［5］　Mistral AI
　　［6］　Meta AI　「LLaMA」
　　［7］　Together　「オープンソースのChatGPT代替ツール：OpenChatKit」
　　［8］　Falcon LLM
　　［9］　Stable Diffusion　「StableLM」
　　［10］　GPT-Neo、GPT-J、GPT-NeoX
　　［11］　XLNet
　　［12］　RoBERT
　　［13］　DeBERTa
　　［14］　XLM-RoBERTa
　　［15］　DistilBERT


第7章　ドメイン特化型LLM

7-1　概説
7-2　ドメイン特化型LLM／ドメイン固有のLLMに関する研究・実装動向


第8章　小規模LLM（SLM）／量子化LLM

8-1　概説
8-2　LLM、SLM、STLMが注目を集める背景
8-3　スモール言語モデルは本当に言語モデルの未来なのか？
8-4　リソース効率に優れた代替手段としての小型言語モデル（SLM）の可能性
8-5　SLMの応用
8-6　持続可能なAIのための超小型言語モデルの出現
8-7　超小型言語モデル（STLM）
8-8　量子化LLM
8-9　量子化モデルの新境地
8-10　大規模言語モデルの量子化に革命を起こすデータフリーアルゴリズム
8-11　LLMのための新しい量子化技術
8-12　LLMの重みをほぼ損失なく圧縮できる圧縮フォーマットと量子化技術
8-13　主なSLM／STLM
8-14　研究チーム、参入メーカー、参入ベンダー動向
　　［1］　AMD　「LLaMA2モデルアーキテクチャに最適化されたスモール言語モデルシリーズ」
　　［2］　ケンブリッジ大学　「スモール言語モデル：調査、測定、洞察」
　　［3］　マイクロソフト・リサーチ　「小さな言語モデルへの推論学習：Orca」
　　［4］　マイクロソフトAIチーム　「卓越した推論と言語理解能力を示す27億パラメータの小規模言語モデル：Phi-2」
　　［5］　ポツダム大学、クアルコムAIリサーチ他研究チーム　「ハイブリッド大小言語モデルを用いたクアルコムAIリサーチによる機械学習アプローチ」
　　［6］　マサチューセッツ工科大学／プリンストン大学／NVIDIA／Together AI　「デルタを1ビットまで量子化：BitDelta」
　　［7］　モハメド・ビン・ザイードAI大学、オーストラリア国立大他研究チーム　「小規模言語モデル領域で最先端の性能を発揮するMobiLlama」
　　［8］　上海AI研究所OpenGVLab ／香港大学　「大規模言語モデルのための効率的な量子化を考慮した学習：EfficientQAT」
　　［9］　MIT、NVIDIA、UMass Amherst、MIT-IBM Watson AI Labの研究グループ　「量子化を改良する新しいアプローチであるQoQ（Quattuor-Octo-Quattuor）アルゴリズム」
　　［10］　コーネル大学研究チーム　「非干渉性処理による量子化（QuIP）」
　　［11］　SpQR (Sparse-Quantized Representation)： 大きな言語モデルの重みをほぼ損失なく圧縮できる圧縮フォーマットと量子化技術


第9章　ミニCPM（アーキテクチャ設計、ハイパーパラメーターの最適化、戦略的トレーニング、高品質データの融合）

9-1　概説
9-2　関連研究
　　［1］　MiniCPM：スケーラブルな学習戦略で小さな言語モデルの可能性を解き明かす
9-3　モデル事例
　　［1］　Ai2　「オープンソースのマルチモーダル言語モデルファミリー：Molmo」


第10章　大規模言語モデル／生成AIの学習効率、学習安定性

10-1　概説
10-2　LLMトレーニング
10-3　LLMの最適化
10-4　データセンターにおける診断ツール
10-5　大規模分散システムにおけるフォールトトレランス
10-6　関連研究
　　［1］　メガスケール：大規模言語モデル学習を10,000以上のGPUに拡張する


第11章　大規模言語モデル／生成AIとトランスフォーマー・アーキテクチャ

11-1　概説
11-2　生成トランスフォーマーによるテキストから画像への生成・編集モデル
　　［1］　概説
　　［2］　Google AI　「マスク型生成トランスフォーマーによるテキストから画像への生成・編集モデル：　Muse」
　　［3］　Facebook AI Research　「視覚および視覚言語タスクの広い範囲をサポートするたモデル：　X-Decoder」


第12章　大規模言語モデル／生成AIと最適化技術

12-1　概説
12-2　ニューラルネットワークのトレーニングから離散的な自然言語空間におけるLLMの入力プロンプトの最適化へ
12-3　プランニングと最適化のためのLLM
12-4　プロンプトエンジニアリングと最適化


第13章　大規模言語モデルとゼロショット、少数ショットの能力向上

13-1　概説
13-2　ほぼすべての言語の音声を少量のテキストだけで書き起こすLLM


第14章　大規模言語モデル／生成AIの推論の最適化／推論効率

14-1　概説
14-2　スループット指向の生成推論
14-3　推論モデル向けプラットフォーム
　　［1］　Hugging Face
　　［2］　PaLM-E（ロボット操作などのタスクで強い推論能力を発揮するエンボディド・マルチモーダル言語モデル）
14-4　関連研究
　　［1］　混合エージェントは大規模言語モデルの能力を強化する



第15章　モデル圧縮

15-1　概説
15-2　低ランク因数分解


第16章　タイムトゥファーストトークン （TTFT）の削減

16-1　概説
16-2　研究動向


第17章　ロングコンテクスト（長文）のLLM（LVLM）

17-1　概説
17-2　ロングコンテクストLLMによるRAGの強化
17-3　検索-拡張生成
17-4　長い文脈の大きな言語モデル
17-5　長いコンテキストの埋め込み
17-6　関連研究
　　［1］　LongRAG：ロングコンテクストLLMによる検索補強生成の強化


第18章　MoE （Mixture-of-Experts）アーキテクチャ

18-1　概説
18-2　定義・概念の広がり
18-3　MoEモデルが関心を集める根拠・背景
18-4　LLMとMoEの関係
18-5　密なモデルよりも効果的にスケールするMoEモデル
18-7　MoEの展開と背景
　　［1］　概説
　　［2］　密なMoE
　　［3］　疎なMoE
　　［4］　MoEのスパース混合
　　［5］　条件付き計算
　　［6］　言語のためのMoE
　　［7］　視覚のためのMoE
　　［8］　浅いMoE
　　［9］　トランスフォーマーモデルへの応用
18-8　主なオープンソースMoEシステム用フレームワーク
18-9　MoEの主なプレーヤー／商用利用可能なMeEモデル
　　［1］　Mistral AI　「Mixtral 8x7B」
　　［2］　IBM　「量子回路の最適化、量子コンピューティング能力の強化：Qiskit SDK v1.2」
　　［3］　マイクロソフト　「勾配情報付き専門家混合MoEモデル：GRIN MoE」
　　［4］　マイクロソフト／中国科学院大学　「Q-Sparse：LLMにおける活性化の完全なスパース性を可能にするAIアプローチ」
　　［5］　アレンAI研究所／コンテクスチュアルAI／ワシントン大学／プリンストン大学の研究チーム　「完全にオープンソース化されたMoE」
　　［6］　XVERSE Technology　「MOEアーキテクチャと大規模言語処理における新たな基準を設定する多言語 AI モデル: XVERSE-MoE-A36B」
　　［7］　DeepSeek-AI　「MoEを特徴とする最先端の238億パラメータモデル：DeepSeek-V2.5」


第19章　大規模言語モデルとRAG

19-1　概説
19-2　従来のRAGフレームワークの問題点と解法
19-3　検索-拡張生成
19-4　長い文脈の大きな言語モデル
19-5　LLMにおけるRAGの統合
19-6　RAGのタイプ別・アプローチ別特性
　　［1］　ナイーブRAG（Naive RAG）
　　［2］　高度なRAG（Advanced RAG）
　　［3］　モジュラー型RAG（Modular RAG）
　　［4］　RAG対微調整
19-7　RAGの構造・改良経過
　　［1］　検索の粒度
　　［2］　クエリーの最適化
　　［3］　埋め込み
　　［4］　アダプター
19-8　RAGの調整
　　［1］　コンテキスト・キュレーション
　　［2］　LLM微調整
19-9　RAGにおける増強プロセス
　　［1］　復検索
　　［2］　再帰的検索
　　［3］適応的検索
19-10　課題と評価
19-11　RAGの当面のテーマ／課題
　　［1］　RAG対ロング・コンテクスト
　　［2］　RAGの堅牢性
　　［3］　ハイブリッド・アプローチ
　　［4］　RAGのスケーリング法則
　　［5］　プロダクション・レディRAG
　　［6］　マルチモーダルRAG
19-12　関連研究
　　［1］　大規模言語モデルのための検索補強型生成：サーベイ
　　［2］　ウォータールー大学　「ロングコンテクストLLMによる検索補強生成の強化：LongRAG」
　　［3］　インテル研究所　「RAGユースケース向けにLLMを拡張するオープンソースのPythonフレームワーク：RAG Foundry」


第20章　RAGのベストプラクティス

20-1　概説
20-2　最新の手法／最近の研究動向
クエリーと検索の変換
レトリーバー強化戦略
レトリーバーとジェネレーターの微調整
20-3　関連研究
　　［1］　復旦大学他研究チーム　「検索支援型ジェネレーションのベストプラクティスを探る」


第21章　大規模言語モデルとファインチューニング（微調整）技法の発展

21-1　概説
21-2　ファインチューニングによる大規模言語モデルの性能向上
21-3　マルチタスク微調整と命令調整モデル
21-4　パラメータ効率微調整（PEFT）
21-5　低ランク適応（LoRA）
21-6　パラメーター効率の良いプロンプト・チューニングのためのスケールの力
21-7　比較分析
21-8　LLMの微調整と時間知識グラフ（TKG）モデルの解釈可能性と適応性向上
21-9　ファインチューニングとRAGのパイプライン
21-10　関連研究
　　［1］　スタンフォード大学の研究者がインコンテキストベクター（ICV）を発表： 大規模言語モデルを微調整するスケーラブルで効率的なAIアプローチ
　　［2］　大規模言語モデルによる動的適応(LLM-DA)：時間知識グラフ上の推論のための機械学習手法 TKGs
　　［3］　マイクロソフト　「ラグ対微調整：パイプライン、トレードオフ、農業のケーススタディ」


第22章　PEFT手法

22-1　概説
22-2　パラメータ効率の良い微調整（PEFT）とMoEを組み合わせたMoPE(Mixture of Parameter-Efficient Experts)フレームワーク
22-3　メモリ効率の良い学習


第23章　インコンテクスト数ショット学習

23-1　概説
23-2　研究開発動向


第24章　自己注意メカニズム／エンコーダのみモデル／デコーダのみモデル

24-1　概説
24-2　自己注意メカニズムによるトランスフォーマー・アーキテクチャーの性能向上


第25章　LLMオートレーター

25-1　概説
25-2　LLMオートレーターの学習・報酬モデル
25-3　オートレーターの空間における先行研究
　　［1］　自動評価メトリクス
　　［2］　LLMをジャッジとするオートレーナー
　　［3］　汎用のLLMオートレーナー
　　［4］　報酬モデル
25-4　関連研究
　　［1］　Google DeepMind他研究チーム　「基礎的なオートレーターより良い自動評価のために大規模言語モデルを飼いならす」


第26章　緻密な検索（DR）モデル／事前学習モデル

26-1　概説
26-2　事前学習モデルとLLMのパフォーマンス向上促進
26-3　PaLM（Pathway言語モデル）
26-4　PaLM 2の多言語機能
26-5　Med-PaLM（バイオメディカルデータをエンコード、解釈する大規模マルチモーダル生成モデル）
26-6　AudioPaLM（高精度で聞き取り、話し、翻訳する音声言語モデル）
26-7　事前学習時にトークン数を増やすプロセス
26-8　クリーンで多様な事前学習データの使用
26-9　関連研究
　　［1］　Google Research／Google DeepMind研究チーム　「生物医学的活動をまとめた独自のベンチマーク：MultiMedBench」
　　［2］　Google研究チーム　「高精度で聞き取り、話し、翻訳する新しい大規模言語モデル：AudioPaLM」


第27章　拡散モデル

27-1　概説
27-2　拡散モデルの発展
27-3　事前学習された拡散モデルによる超解像（SR）技術
27-4　関連研究
　　［1］　研究チーム　事前に訓練された拡散モデルの力を利用したAI超解像アプローチ　「StableSR」


第28章　モデル結合

28-1　概説
28-2　モデル結合で人気のある方法


第29章　アテンションメカニズム、アテンション・パターンの効果的な探索

29-1　概説
29-2　自己アテンションとモデル行動


第30章　長文（ロングコンテキスト）ロングコンテクストLLM

30-1　概説
30-2　ロングコンテキストのLLM（LVLM）
30-3　LVLMの文書自動理解（DU）と能力評価（ベンチマーク）
30-4　文書理解のためのモデル
30-5　ロングシークエンス・トレーニングのハードウェア性能
30-6　長いシーケンスを用いて大規模なモデルを学習する能力の最適化
30-7　関連研究
　　［1］　ウォータールー大学　「ロングコンテクストLLMによる検索補強生成の強化：LongRAG」


第31章　非トランスフォーマー言語モデル

31-1　概説
31-2　Mamba
31-3　RWKV
31-4　ニューラル・ネットワーク
　　［1］　モデルのスケーリング
　　［2］　ハードウェア
　　［3］　ソフトウェア
　　［4］　モデルの学習と推論における並列性
　　［5］　自動化された並列処理
　　［6］　条件付き計算と機械翻訳
31-5　関連研究
　　［1］　Google　「条件計算と自動シャーディングによる巨大モデルのスケーリング：GShard」


第32章　ニューラル・ネットワーク

32-1　概説
32-2　非トランスフォーマー言語モデルとニューラル・ネットワーク
　　［1］　モデルのスケーリング
　　［2］　ハードウェア
　　［3］　ソフトウェア
　　［4］　モデルの学習と推論における並列性
　　［5］　自動化された並列処理
　　［6］　条件付き計算と機械翻訳
32-3　ニューラルネットワークのスケーリング／トランスフォーマーのスケーリング


第33章　思考の連鎖プロンプト

33-1　概説
33-2　思考の連鎖(CoT)プロンプトと検索拡張生成(RAG)を相乗させたプロンプト戦略
　　［1］　検索支援型生成（RAG：Retrieval-augmented Generation）
　　［2］　推論によって強化されたRAG
　　［3］　推論のための言語モデル
33-3　関連研究
　　［1］　RAT: ロングホライズン世代における文脈を考慮した推論を引き出す検索拡張思考


第34章　知識グラフ／非構造化データとLLM

34-1　概説
34-2　チャート理解、グラフのデレンダリング、数学的推論を大幅に改善するLLM
　　［1］　概説
　　［2］　Google AI　「チャート理解、グラフのデレンダリング、数学的推論を大幅に改善するモデルを提唱」
34-3　知識グラフ抽出のためのLLMオントロジー・プロンプティング
34-4　グラフベースの索引付け、グラフ誘導型検索、グラフ拡張型生成を包含するGraphRAG手法
34-5　関連技術や調査との比較
　　［1］　RAG
　　［2］　グラフ上のLLM
　　［2］　KBQA
　　［3］　グラフ・ニューラル・ネットワーク
　　［4］　言語モデル
34-6　グラフベースの索引付け
34-7　関連研究
　　［1］　グラフ検索-拡張生成：サーベイ


第35章　LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク

35-1　概説
35-2　LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク
35-3　人間のフィードバックを利用してテキストから画像へのAIモデルを改善するアプローチ
35-4　関連研究
　　［1］　Google／U.C.Berkeley　「人間のフィードバックによる強化学習（RLHF）」
　　［2］　トロント大学　「思考の反復：自律的な大規模言語モデル推論のための内的対話の活用」


第36章　ReAct (Reasoning and Acting)

36-1　概説
36-2　複雑な問題解決のためのReActフレームワーク
36-3　関連研究
　　［1］　プリンストン大学／Google　「ReActを提案:大規模言語モデルにおける推論と行動の相乗効果を生み出す効果的な手法」


第37章　LangChain

37-1　LLMモデル開発のアプローチ別特性とLangChain
37-2　LangChain概説
37-3　LangChainによる、自律的AIエージェント


第38章　RLHF(Reinforcement Learning from Human Feedback)

38-1　概説
38-2　RLHFに対する既存のアプローチ
38-3　RLHFの理論的保証を提供する研究
38-4　RLHFによって評価されるゼロ次最適化アルゴリズム


第39章　ReST(Reinforced Self-Training)

39-1　概説
39-2　反復的な報酬ベースの微調整(ReST)


第40章　分散データ並列(DDP)／完全分割データ並列(FSDP)

40-1　概説
40-2　分散トレーニング


第41章　大規模言語モデル（LLM）の開発競争／活用パターン

41-1　LLMの開発競争
41-2　LLMの活用
　　［1］　記事の作成
　　［2］　草稿
41-3　大規模言語モデル（LLM）の企業への導入
　　［1］　エンタープライズLLMアプリ
　　［2］　エンタープライズ LLMOps - LLM の微調整
　　［3］　マルチエージェント LLM オーケストレーション
　　［4］　ブラックボックスLLM API
41-4　LLMが作成した疑いのあるコンテンツの取り扱い
41-5　LLMの言語モデルと機械学習
　　［1］　言語モデルの本質
　　［2］　GPT-3学習データセットの寄与／日本語コーパス
41-6　LLMの理論的支柱を形成してきた重要論文（24論文）
　　［1］　イントロ
　　［2］　主要なアーキテクチャとタスク
　　［3］　スケーリングと効率性の向上
　　［4］　言語モデルを意図した方向へ誘導する
　　［5］　人間のフィードバックによる強化学習（RLHF）


第42章　LLM／生成AIの課題・リスク対策

42-1　概況・近況
　　［1］　概況
　　［2］　大規模言語モデルの利用に対するWHOの懸念
42-2　学習データの偏り
42-3　フェイクニュースの生成、誤情報の拡散、世論操作の可能性
42-4　透明性の欠如
42-5　言語と文化的バイアス
42-6　プライバシーとデータセキュリティ
42-7　著作権侵害問題
42-8　言語モデルトレーニングで記事や画像のスクレイピングを巡る法廷闘争
42-9　幻覚／人工幻覚
　　［1］　概説
　　［2］　LLMの幻覚回避策／データからメタデータへ
42-10　LLMの監査プロセスの構築
42-11　膨大なメモリと計算能力
42-12　逆スケーリングを示すタスクの問題
42-13　LLMのAPIを利用するためのコスト
42-14　LLMを用いたLLM品質の自動評価（LLM-as-a-judge）
　　［1］　LLMの選択肢の広がりと評価基準
　　［2］　注目を集めるLLM-as-a-judge
42-15　中立的な視点
42-16　開発コスト／推論コスト
42-17　インフォデミックリスク


第43章　LLM／生成AI評価ベンチマーク／LLM性能の最適化

43-1　概説
43-2　LLM評価の効率化とコスト削減
43-3　マルチアーム・バンディットにおけるベストアーム識別
43-4　LLMの性能評価関数
43-5　LLM性能評価ベンチマーク
43-6　GPU使用量の削減とLLM事前トレーニングシナリオの変化
43-7　LLMを導入する際のコストと性能のトレードオフ最適化
43-8　関連研究
　　［1］　コーネル大学／カリフォルニア大学サンディエゴ校研究チーム　「LLM評価の効率化とコスト削減を実現するマルチアーム・バンディット・アルゴリズム」
　　［2］　ウォータールー大学／トロント大学／カーネギーメロン大学　「よりロバストでチャレンジングなマルチタスク言語理解ベンチマーク：MMLU-Pro」
　　［3］　Yandex　「GPU使用量を20％削減し、LLMトレーニングに革命をもたらすオープンソースAIツール：YaFSDP」
　　［4］　UC Berkeley／Anyscale／Canva研究チーム　「費用対効果の高いLLMルーティングのためのオープンソースフレームワーク」
　　［5］　LLMの効率とパフォーマンスを橋渡しするAI手法：OmniQuant
　　［6］　Hugging Face　メモリ効率と計算速度のトレードオフを最適化するGPTQ量子化
　　［7］　Q-GaLoreリリース： 機械学習モデルの事前学習と微調整のためのメモリ効率の高い学習アプローチ


第44章　LLM／生成AIの計算負荷を軽減する手法

44-1　ブラックボックスKDとホワイトボックスKD
44-2　知識蒸留(KD)
44-3　関連研究
　　［1］　清華大学CoAIグループ／マイクロソフト・リサーチ　「大規模言語モデルの知識抽出：MiniLLM」


第45章　プロンプトエンジニアリング／プロンプト最適化／新しいプロンプティング方法　　［1］

45-1　プロンプト・エンジニアリングのタイプ別特性
　　［1］　概要
　　［2］　静的プロンプト
　　［3］　文脈に応じたプロンプト
　　［4］　プロンプトテンプレート
　　［5］　プロンプト連鎖
　　［6］　プロンプト・チェイニング
　　［7］　プロンプトパイプライン
　　［8］　生成AIプロンプト・パイプライン
　　［9］　エージェント型プロンプト
　　［10］　思考の連鎖プロンプト
45-2　LLM埋め込みと微調整技術によるプロンプト・エンジニアリング
　　［1］　プロンプトエンジニアリングにおけるLLMの組み込み
　　［2］　プロンプトエンジニアリングにおけるファインチューニング（微調整）
　　［3］　LLMエンベッディングとファインチューニング： 相乗効果のあるペア
45-3　プロンプトエンジニアリングの高度な技法
　　［1］　まえがき
　　［2］　フューショット・プロンプト
　　［3］　思考連鎖プロンプト
　　［4］　自己一貫性プロンプト
　　［5］　知識生成プロンプティング
　　［6］　プログラム支援言語モデル（PAL）
　　［7］　ReAct（推論トレースとアクションをインターリーブで生成するフレームワーク）
　　［8］　ReActとPAL
　　［9］　自動プロンプトエンジニア
45-4　ドメイン固有のLLMの開発に係る問題
　　［1］　概説
　　［2］　事前に訓練された言語モデルLMからドメイン固有の知識を取得「SwitchPrompt」


第46章　プロンプトエンジニアリング／プロンプト最適化／新しいプロンプティング方法　　［2］

46-1　プロンプト最適化アプローチ
　　［1］　概説
　　［2］　強化学習（RL）を用いた新しいプロンプト最適化アプローチ　「RLPrompt」
46-2　LLMにおけるシンプルなプロンプティングアプローチ課題
　　［1］　概説
　　［2］　強化学習（RLHF）トレーニングで訓練されたLLMにおけるシンプルなプロンプティングアプローチ
46-3　LLMの誘導最適化のためのプロンプティングフレームワーク
　　［1］　概説
　　［2］　LLMの誘導最適化のための新しいプロンプティングフレームワーク　「Directional Stimulus Prompting（DSP）」
46-4　プロンプトに含まれる比喩表現を反映した画像生成を可能にするフレームワーク
　　［1］　概説
　　［2］　生成したプロンプトを用いて既存モデルに出力させた画像と比較する検証
46-5　ハードプロンプトの最適化
　　［1］　概説
　　［2］　連続エンベッディングを利用したテキスト用勾配最適化ツールによる難しいプロンプトの最適化
46-6　プロンプトベースのインコンテクスト学習
　　［1］　概説
　　［2］　プロンプトベースのインコンテクスト学習をアルゴリズム学習問題と統計的観点からの提示
46-7　外部メモリで補強されたLLM
　　［1］　概説
　　［2］　Google Brain／アルバータ大学　「LLMへの外部読み書き可能メモリ追加しによるアルゴリズムエミュレートの検証」
46-8　自然言語を超えるLLMをプロンプト化に関する建機
　　［1］　概説
　　［2］　Microsoft AI Research　「自然言語を超えるLLMをプロンプト化するeXtensible Prompt（X-Prompt）の提唱」
46-9　Google　最適化ツールとして活用する手法　「Optimization by PROmpting（OPRO）」
46-10　特許評価システムとプロンプト最適化の研究開発
46-11　プロンプトエンジニアリングの諸課題
強化学習(RL)を用いた新しいプロンプト最適化アプローチ　「RLPrompt」
46-12　関連研究
　　［1］　意図に基づくプロンプトのキャリブレーション：合成境界ケースを用いたプロンプト最適化の強化


第47章　LLM／生成AIのファインチューニング

47-1　概説
　　［1］　概要
　　［2］　LLMを微調整するメソッド
47-2　特定のタスクに適合するためのLLMの微調整
47-3　APIの利用
　　［1］　OpenAI　「GPT-4」「DALL・E」「Whisper」などのAPI一般提供
　　［2］　OpenAI　「GPT-4」のAPIを一般提供開始／旧モデルの非推奨化の発表
47-4　強化学習（RLHF）を利用して用途に応じたLLMの生成
47-5　LLMを強化学習エージェントの方策として使用したGLAM（Grounded LAnguage Models）手法
47-6　暗黙のメタ最適化プロセスとチューニング　「Few-Shot Prompting」
　　［1］　LangChainによる大規模言語モデルのファインチューニング
　　［2］　QLoRa：大規模な言語モデルをGPUで微調整する
47-7　大規模な拡散モデルと効果的な微調整技術
　　［1］　概説
　　［2］　Huawei Noah's Ark Lab　「大規模拡散モデルを効率的に微調整するDiffFitを発表」


第48章　事前学習・事前訓練されたファウンデーションモデル

48-1　概説
　　［1］　概要
　　［2］　Pathways Language Model（PaLM）
　　［3］　Chinchilla
　　［4］　Galactica
　　［5］　BioMedLM
　　［6］　GLaM（Generalist Language Model）
48-2　事前学習されたLLMの制御および追加入力条件をサポートするためのニューラルネットワーク構造
　　［1］　スタンフォード大学　「ControlNet」
　　［2］　スタンフォード大学　「言語モデルプリトレーニングのためのスケーラブルな2次最適化ツール」
48-3　事前学習を自己教師対照学習で初めて現実化した時間-周波数整合性（TF-C）
　　［1］　概要
　　［2］　提案手法
　　［3］　1対多の事前トレーニング評価
　　［4］切り分け研究


第49章　LLM／生成AIの能力を向上させるアーキテクチャ／フレームワーク上の課題

49-1　概説
49-2　スケーリング効率の課題
49-3　数学的推論問題におけるLLMの性能を向上させる技法
　　［1］　概説
　　［2］　マイクロソフト　「数学的推論問題におけるLLMの性能を向上させる技法：MathPrompter」
49-4　Meta　「次世代AIアーキテクチャ：Megabyte」
49-5　ヒューマン・イン・ザ・ループ・システムのアプローチに関する研究
　　［1］　概説
　　［2］　UCバークレー校研究グループ　「あらゆる形態のフィードバックから学習することを可能にするChain of Hindsight（CoH）技術」
49-6　LLMの推論を向上させる合成プロンプティング手法
49-7　グロッキングと位相変化（長時間経過後に未見のデータへの汎化を行う現象）
49-8　LLMのデコード性能向上
49-9　投機的サンプリング（SpS）アルゴリズム
49-10　パラメーターのコンパクト化によるレスポンス／電力消費／サーバコストを抑制
　　［1］　NEC　「130億パラメーターの軽量さと高い日本語能力をうたうLMMを開発」


第50章　LLM／生成AIの能力を向上させる文脈内学習（インコンテクスト）のアプローチ

50-1　概説
　　［1］　イン・コンテクスト学習の概要
　　［2］　コンテクストの長さとコンテクスト構築の最適化
50-2　トランスフォーマーベースのニューラルシーケンスモデルによる文脈内学習
50-3　心の理論（ToM）推論／LLM性能を向上させる適切なプロンプトに関する研究
　　［1］　概説
　　［2］　ジョン・ホプキンス大学　「心の理論」（ToM）推論／LLM性能を向上させる適切なプロンプトに関する研究成果」
50-4　大規模な言語モデルを誘導するためのアクティブプロンプティング
50-5　RLHF（人間からのフィードバックを用いた強化学習）
50-6　推論中の指示に従う文脈内学習学習
　　［1］　概説
　　［2］　KAIST／LG Researchの研究グループ　「推論中の指示に従うことを文脈内学習で学習するICIL（In-Context Instruction Learning）」
50-7　外部コーパスからの取得なしでより正確な事実知識を生成するモデル
　　［1］　概説
　　［2］　Google Brain　「外部コーパスからの取得なしでより正確な事実知識を生成：RECITE」
50-8　外部ドキュメントの取得に代わって文脈でドキュメントを直接生成する技術
　　［1］　概説
　　［2］　generate-then-readプロセスによるGENREAD


第51章　LLM／生成AIとAIエージェント

51-1　概説
51-2　LLMエージェントの主な構成要素
　　［1］　知覚
　　［2］　処理ユニット
　　［3］　知識ベース
　　［4］　アルゴリズム（意思決定メカニズム）
　　［5］　行動メカニズム
51-3　プロンプトエンジニアリングと最適化
51-4　マルチエージェントシステムのためのLLM
51-5　LLMを使ったAIエージェント構築のための次世代コンテクスト検索システム／ニューラルデータベース
　　［1］　エンベッディングの維持、保存、検索の難しさ
　　［2］　エンベッディングやANNに対するニューラル・データベースの主な利点
　　［3］　ThirdAIの違い
51-6　LLM増強自律エージェントの進化／ゴール指向エージェント
51-7　セールスフォース　「LLM増強自律エージェントの進化と革新的なBOLAA戦略」
51-8　事例
　　［1］　自律型AIエージェントとLLMワークフローを構築するためのオープンソースTypesScriptプラットフォーム


第52章　LLM・生成AIベースのマルチエージェントシステム

52-1　LLMベースのエージェント開発のアプローチ別特性
52-2　単一エージェントの模倣学習
52-3　マルチエージェントの模倣学習
52-4　逆ゲーム理論
52-5　MALICE (Multi-agent Aggregation of Losses to Imitate Cached Experts)
52-6　LLMペルソナ・エージェント
52-7　LLMベースのマルチエージェントコラボレーション
52-8　マルチエージェントRAGシステム
52-9　マルチエージェントAIシステムの構築支援ツール
AutoGen／AutoGen Studio
AutoGenの主要構成要素
AutoGen Studio（バージョン2.0）のビルドセクション
52-10　関連研究
　　［1］　復旦NLPラボ＆復旦視覚学習ラボ　「多様な環境における大規模言語モデルベースのエージェントの進化」
　　［2］　カーネギーメロン大学研究チーム　「マルチエージェント模倣学習」
　　［3］　ペルソナジム　「LLMペルソナ・エージェントを包括的に評価する動的AIフレームワーク」


第53章　LLM／生成AIの推論能力・推論能力強化

53-1　概説
　　［1］　概要
　　［2］　Chain-of-Thought（CoT）
　　［3］　Self-consistency with CoT（自己整合型COT）プロンプト
　　［4］　CoT-SC（思考連鎖による自己一貫性）
　　［5］　LLMが自らの論理的整合性をチェックするためのフレームワーク「LogiCoT」
　　［6］　Google／東京大学／北京大学／マイクロソフト　「LLMで困難な多段階問題を解決するためのプロンプティング技法／ゼロショットCoT他」
　　［7］　Tree of Thoughts（ToT）
　　［8］　ToTの戦略・実装
　　［9］　ToTにおける主な検索アルゴリズムと特性
53-2　マイクロソフト　推論能力を強化するための新しい方法論の提唱　「AoT（Algorithm of Thoughts）」
　　［1］　概要
　　［2］　AoTの特徴・手法


第54章　LLM／生成AIによる認知的自動化に関する研究開発

54-1　概要
54-2　アイデアの創出・選択・開発／ブレインストーミング
54-3　テキスト作成／編集／文章要素の評価
54-4　文献検索
54-5　学習アシスタント
54-6　調査・分析／コーディング／数学的導出などの研究ツール


第55章　LLMにおける性能の良いモデルの学習／モデル学習の合理化／展開時の生成速度の向上

55-1　概説
55-2　新たな学習データを必要とせず、わずか数個の例から新しいタスクを学習できるモデル
55-3　データセット蒸留による大規模モデル学習の合理化
55-4　Meta AI　「マルチスケールデコーダアーキテクチャ「MEGABYTE」を提唱」


第56章　LLMとスーパーコンピュータ・量子コンピューター関連技術

56-1　スーパーコンピュータによる大規模言語モデルの研究開発
56-2　スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発について
56-3　LLMによる量子プログラミング
　　［1］　概説
　　［2］　ChatGPTの世界における量子の役割
　　［3］　量子機械学習（QML）アルゴリズム
　　［4］　ChatGPTと量子の統合における現在の限界
　　［5］　量子エラー訂正
　　［6］　フォールト・トレラントな量子コンピューターと量子制御
56-4　LLMと量子コンピューター関連技術による大規模高速高精度なガントチャート生成


第57章　メモリ増強・メモリ削減LLM／限られたGPUメモリでLLM高スループットで処理する生成エンジン

57-1　グーグル・ブレイン／アルバータ大学　「メモリ増強LLMでLLMにおけるブレークスルーを起こす」
57-2　枝刈りアルゴリズムによるメモリ使用量削減
57-3　UCB／スタンフォード大学／CMU／Meta他　「FlexGen」
57-4　NVIDIA GPUのスケーラリビティを活用した新たな可能性


第58章　大規模言語モデル学習の各種実証的分析

58-1　計算最適な大規模言語モデル学習の実証的分析
58-2　スタンフォード大学　「LLMの推論コストを110倍削減する新しいAIアプローチ」
58-3　OPT-175Bによる大規模言語モデルへのアクセスの民主化
58-4　LLMがパラメータから知識を抽出する方法に関する研究
58-5　計画問題の自然言語記述に関する研究
58-6　メタ認知プロセスが可能なLLMの自己改善能力を実証する研究
58-7　メタ認知をさせてLLMの能力を上げる手法　「メタ認知プロンプティング」


第59章　大規模言語モデル／生成AIの課題と解決のアプローチ例

59-1　プロンプトパラダイムとReWOO（Reasoning WithOut Observation）
59-2　人工幻覚（AIによる真実ではない確信的な応答問題）
　　［1］　概説
　　［2］　幻覚の軽減と測定
　　［3］　幻覚を見ている人工知能を見抜く方法
59-3　強化学習（RL）アルゴリズムによる結果の正確度合いのスコア化
　　［1］　概説
　　［2］　人間の指示によりよく沿うように提案された新しいLLMアルゴリズム　「HIR」
59-4　説明によって意思決定時のAIシステムへの過度な依存を軽減するアプローチ
　　［1］　概説
　　［2］　スタンフォード大学　「意思決定AIシステムの戦術的判断をコスト・ベネフィット・フレームワークで定式化・検証」
59-5　Eleuther AI、FAR AI、ボストン大学、トロント大学、UCバークレー校　「チューニングレンズによるロジットレンズ問題の解決」


第60章　バイリンガル／多言語認識LLM・生成AI

60-1　概説
60-2　先行研究
60-3　関連研究
　　［1］　OpenGPT-Xチーム、European LLM Leaderboardを発表： 先進的な多言語言語モデルの開発と評価への道を促進


第61章　多言語音声認識、感情認識、音声イベント検出、音声対話のためのマルチモデルフレームワーク

61-1　概説
61-2　研究チーム、参入企業動向
　　［1］　アリババ・グループ研究チーム　「多言語音声認識、感情認識に優れた音声対話のためのマルチモデルフレームワーク：FunAudioLLM」


第62章　音声合成モデルとLLM・生成AI

62-1　概説
62-2　Google AI　「翻訳したテキストと音声を同時に生成する大規模言語モデル：AudioPaLM」
62-3　Google AI　「最先端の音声モデルファミリ：Universal Speech Model (USM)」
62-4　CMU研究グループ　「多様な音声を扱う人間のような音声合成トレーニングのためのAIシステム」
62-5　Suno　「音声合成AIボイスクローンモデル：Bark」


第63章　大規模言語モデルに関連した最新研究・新たな取り組み［1］

63-1　自動運転向けLLM
　　［1］　自動運転大規模言語モデル研究（中国）：コンピュータビジョン世界最高峰の学会で最優秀賞
　　［2］　Turing　「生成AIで走行制御する自動運転車」
63-2　LLMによるインテリジェントな質問応答システム
　　［1］　概説
　　［2］　質問応答とトランスフォーマー
63-3　自律型エージェントにおける目標への合致をチェックする技法
　　［1］　概説
　　［2］　スタンフォード大学／DeepMind　「LLMを代理報酬関数として利用するアプローチの提唱」
63-4　自己フィードバックにより強化された反復的な自己修正型LLM。
　　［1］　KAIST研究チーム　「自己フィードバックと自己修正生成型に設計されたSelFeeモデルを発表」
63-5　多段階の推論を必要とする構成的課題を解くためのトランスフォーマーの研究
　　［1］　概説
　　［2］　合成タスクにおけるLLMの限界と能力を改善する方法
63-6　言語モデルのプロンプト圧縮を効率化する新技法
　　［1］　概説
　　［2］　スタンフォード大学研究者　プロンプトを圧縮するための新しい技術「gisting」
63-7　LLMによるマインクラフトの探索でゲームの達人になるAIモデル「Voyager」
63-8　強化学習を使わずに嗜好から言語モデルを学習させる学習パラダイム
63-9　逆スケーリング（モデルサイズの増加に伴う出力低下）問題への対処
　　［1］　エディンバラ大学／ヘリオット・ワット大学　「新しい種類の逆スケーリングジョブ技法の提案」
　　［2］　メリーランド大学　「決定論的摂動による拡散モデル：Cold Diffusion」
63-10　ミッションクリティカルなタスクの性能を向上させるモジュールによる外部知識に基づく応答の実現
　　［1］　概説
　　［2］　マイクロソフトとコロンビアの研究グループ　「LLM-AUGMENTER」
63-11　大規模な言語モデルの推論と最適化
　　［1］　概説
　　［2］　100B以上の言語モデルを実行できるオープンソースAI　「Petals」
63-12　純粋な生成型AIモデルよりも信頼性が高く、説明責任の要求おを充たす検索結果の表示
　　［1］　概説
　　［2］　Google／Brave Search　「推論効率を最大化するために微調整された独自の非公開モデル」
63-13　巨大なデータベースをマイニングして新たな洞察を得るための方法
　　［1］　概説
　　［2］　カリフォルニア大学バークレー校　「言語記述を用いたテキスト分布間の差異の目標駆動型識別」


第64章　大規模言語モデルに関連した最新研究・新たな取り組み［2］

64-1　マルチモーダル思考連鎖推論による新しいLLMモデル／思考連鎖（CoT）プロンプト
　　［1］ 概説
　　［2］　Amazon　「Multimodal-answer CoTの推論と推論生成」
64-2　LLMに3D世界を導入する試み　「3D-LLM」
64-3　意思決定問題に言語からの背景知識を統合するアプローチ
　　［1］　概説
　　［2］　MIT　「言語モデルからの確率的プリオ抽出・背景知識の統合：LAMPP」
64-4　高効率かつ安定的に学習させる言語モデルの手法
　　［1］　概説
　　［2］　Google AI Research　「22BパラメータViT（ViT-22B）を高効率かつ安定的に学習させる手法」
64-5　状態空間モデル（SSM）とトランスフォーマー言語モデル
　　［1］　概説
　　［2］　スタンフォード大学　「状態空間モデル（SSM）とトランスフォーマー言語モデルの注意メカニズム間のギャップ解決」
64-6　大規模言語モデルの「創発的」能力
64-7　LLMのスケーリング（規模）能力と予測不可能性の関係
64-8　手作業によるラベリングを大規模に置き換える言語モデル
64-9　コンピュータビジョン分野における確率的生成モデルと自己教師あり学習の関係性
　　［1］　概説
　　［2］　パナソニックHD　「確率的生成モデルと自己教師あり学習の統合で画像の不確実性まで推定できる画像認識AIモデル」


第65章　大規模言語モデルに関連した最新研究・新たな取り組み［3］

65-1　ローコードLLMによる人間とLLMのインタラクションパターン
65-2　生成モデル（GPTなど）の推論効率のボトルネック解消技術
　　［1］　概説
　　［2］　Microsoft Research　「生成モデルの推論効率のボトルネック解消技術」
65-3　モデル表現から知識を検出する教師なし手法
　　［1］　概説
　　［2］　UC Berkeley／北京大学　「コントラスト一貫性探索（CCS）」
65-4　インストラクションのチューニング方法
　　［1］　概説
　　［2］　創発的かつ最先端の結果に焦点を当てたデータ収集とインストラクションチューニングプロセスに適用する手法
65-5　セマンティック検索モデル／構造化データと非構造化データ
　　［1］　構造化データと非構造化データ
　　［2］　テキストからSQLへ
　　［3］　セマンティック検索埋め込みモデル
　　［4］　LLMによる構造化データと非構造化データのクエリ／テキストからSQLへの構造分析とセマンティック検索
　　［5］　非構造化テキストを効率的にセマンティック検索するNeo4j
65-6　LLMによる文書検索と質問応答
　　［1］　概説
　　［2］　検索補強生成（Retrieval Augmentation Generation）／生成的質問応答（Generative Question Answering）
65-7　ビデオ言語モデル（VidLM）の改善
　　［1］　概説
　　［2］　UIUC／UNC研究グループ　「VidLMにアクション知識をパッチする独自のフレームワークを提唱」
65-8　生成タスクにおける拡散モデルの適用
　　［1］　概説
　　［2］　MIT　「デノイズスコアマッチングの分散を減らし、画質、安定性、拡散モデルの学習速度を向上させるモデル」
65-9　3Dシナリオを写実的にデジタル表現するためのニューラルネットワーク
　　［1］　3D環境を自然言語で説明することとNeural Radiance Fields（NeRF）
　　［2］　カリフォルニア大学バークレー校　「視覚言語モデルの言語埋め込みをNeRFに組み込むためのLERF（Language Embedded Radiance Fields）」
65-10　モバイルUIで会話型インタラクションを可能にするLLM
65-11　Chain-of-Thought推論（論理・算術・象徴的な推論タスクでより優れた推論を描写するアプローチ）の導入
　　［1］　LLMにCoT（Chain-of-Though）推論導入による性能の向上
　　［2］　思考連鎖推論により言語モデルのゼロショット学習と数ショット学習を強化する命令データセット
65-12　LLMのゼロショット性能を改善するための軽量かつ多用途なアプローチ
　　［1］　概要
　　［2］　Microsoft　「UPRISE」
65-13　Adamの2倍の速度でLLMを解くことができる新しい2次オプティマイザ
65-14　特定のタスクに適したインターフェース設計／インターフェース増強法
　　［1］　概説
　　［2］　中国人民大学／中国電子科技大学　「構造化データに対するLLM推論能力を向上させるStructGPTを提唱」
65-15　LMQL（言語モデル相互作用のためのプラットフォーム）
　　［1］　LLMインタラクションのためのオープンソースプログラミング言語とプラットフォーム　「LMQL」


第66章　日本独自LLMの研究・開発を巡る主な動き

66-1　概説
66-2　事例
　　［1］　日本経済団体連合会　「AI活用によるSociety 5.0 for SDGsの実現に向けて」
　　［2］　NTT
　　［3］　サイバーエージェント
　　［4］　ソフトバンク
　　［5］　LINE
　　［6］　オルツ
　　［7］　富士通・理研
　　［8］　ABEJA
　　［9］　rinna
　　［10］　さくらインターネット
他


第67章　LLM関連投資動向・スタートアップ動向

67-1　LLM関連スタートアップ動向／投資殺到
　　［1］　大規模言語モデルの台頭とAI投資
　　［2］　AI・LLMと投資のスクランブル交差点
　　［3］　ポートフォリオを最適化するためのLLM取引戦略とアルゴリズムの使用
　　［4］　LLM銘柄への投資における考慮事項
　　［5］　東京大学・松尾研発発のAIスタートアップ　「Deepreneur」　LLMのビジネス実装推進／Deep30から資金調達を実施
67-2　注目LLMスタートアップの資金調達動向
　　［1］概況
　　［2］　Quantexa
　　［3］　CalypsoAI


第68章　大規模言語モデル／生成AI向けフレームワーク

68-1　概説
68-2　シンボリックAIとLLMの長所を組み合わせた強力なフレームワーク「SymbolicAI」
68-3　Open AI　「生成・拡散モデルファミリー：Consistency Models」
68-4　プロンプトエンジニアリングの最適化と改善
　　［1］　概説
　　［2］　Microsoft AI Research　「LMプロンプトを自動最適化するためのシンプルで汎用的なフレームワーク」
68-5　AIガバナンスに不可欠なアプリケーションレベルの監査・監査制御フレームワーク
　　［1］　AIガバナンスの仕組みとして監査が期待される背景
　　［2］　スタンフォード大学　「自然言語クエリを処理するLLM APIのためのAIフレームワーク」
　　［3］　ガバナンス、モデル、アプリケーションの各レベルでLLMを監査するためのポリシーフレームワーク
68-6　GPUアクセラレーションで幅広いクラスのプラットフォームに対応するオープンフレームワーク
　　［1］　概説
　　［2］　GPUアクセラレーションで幅広いクラスのプラットフォームに対応するオープンフレームワーク　「MLC-LLM」
68-7　推論プログラムの中間段階を迅速に生成するLLMを使用するフレームワーク
　　［1］　概説
　　［2］　マイクロソフト／メタ／ワシントン大学／カリフォルニア大学／アレンAI研究所　「Automated Reasoning And Tool-Use (ART)」
　　［3］　マイクロソフト　「クロスリンガルなニューラルコーデック言語モデル：VALL-E X」
68-8　Runway　「テキスト説明から完全な動画を作成できるソフトウェア」
68-9　インストラクションチューニングされたドイツ語LLMファミリー　「IGEL」
68-10　AIモデルの接続やAIタスクを解決する拡散モデル／フレームワーク
　　［1］　概説
　　［2］　様々なAIモデルの接続やAIタスクを解決するフレームワーク　「HuggingGPT」
　　［3］　テキストガイド付きビデオ編集のための拡散モデル・AIフレームワーク　「Dreamix」
68-11　エージェント同士をタスク完了に向けて自律的に行動させるフレームワーク
　　［1］　まえがき
　　［2］　Role-Playing Framework
　　［3］　Inception Prompting
　　［4］　Experiments
68-12　スタンフォード大学Alpaca研究グループ　「命令追従型LLaMAモデルの微調整のための軽量適応法：LLaMA-Adapter」
68-13　トランスフォーマーのための多人数計算（MPC）でプライベート推論を可能にするモデル
　　［1］　近似値への置き換えによるMPC推論処理の高速化
　　［2］　プライバシー、推論レイテンシにおいてバランスのとれた性能を達成するMPCFormer
68-14　多言語LLM
　　［1］　概説
　　［2］　チューリッヒ大学　「多言語言語モデル「SwissBERT」を開発」
　　［3］　Phoenix
68-15　生成系AIとの対話を支援するビジュアルファウンデーションモデル
　　［1］　概説
　　［2］　Microsoft Research　「ChatGPTとの対話を支援するビジュアルファウンデーションモデル：Visual ChatGPT」
68-16　インコンテクスト学習を行うことができるマルチモーダル大規模言語モデル
　　［1］　概説
　　［2］　Microsoft Research　「インコンテクスト学習を行うことができるマルチモーダル大規模言語モデル：Kosmos-1」
68-17　世論測定の言語モデル
　　［1］　概説
　　［2］　MIT／ハーバード大学　「メディアダイエットで学習した世論測定の言語モデルを発表」
68-18　生成を3倍高速化する信頼性適応言語モデリング
　　［1］　概説
　　［2］　Google AI　「LLMによるテキスト生成を3倍高速化する信頼性適応言語モデリング：Confident Adaptive Language Modeling（CALM）」
68-19　脚本を生成する映画オーサリングツール
　　［1］　概説
　　［2］　Deepmind　「脚本を生成する映画オーサリングツール：Dramatron」
68-20　スタンフォード大学　「自然言語クエリを処理するLLM APIのためのAIフレームワーク」
68-21　自然言語で携帯端末を操作するための学習データセット
68-22　自然言語処理システムの仕組みを変える検索拡張世代（RAG）
　　［1］　概説
　　［2］　大規模言語モデルにおけるいくつかの重要な課題に対処するRAG
　　［3］　RAGシステムの潜在的なビジネスアプリケーションと影響
　　［4］　効率的なRAGパイプラインの実装
　　［5］　RAGライブラリとフレームワーク
68-23　視覚言語モデルとその応用可能性
　　［1］　概説
　　［2］　カリフォルニア大学バークレー校　視覚言語モデルの言語埋め込みのNeRFへの組み込み　「LERF（Language Embedded Radiance Fields）」