一般社団法人 次世代社会システム研究開発機構

［出版日］

2024年10月15日

［ページ数］

A4判／約650ページ
（※　バインダー製本とPDF版では編集上の違いによりページ数が若干異なります。）


［発行＜調査・編集＞］

監修・発行：　一般社団法人 次世代社会システム研究開発機構


［レポート内容］

■概要■

大規模言語モデル（LLM）は日々、急速な成長・発展をみせ、AIのムーブメントをリードしている。LLMは様々な用途で利用価値があり、そのインパクトは、幅広いドメイン、セクターで実証されつつある。

しかし、LLMの成長・分化は、スパイラル的な極めて振幅の大きい展開をみせており、適材適所にチューニングする作業は決して容易なことではない。したがって、そのコンセプトを方向づける概念設計のフェーズ、概念モデリングの工程では、PDCA（計画、実行、評価または研究、改善）の各段階のレベルで検証し、これらをスパイラルアップさせながら、改良・拡張・リスク低減を継続的に実施する必要がある。

こうした観点に立ち、本白書は、現在、LLMで特に重要とされている、または注目を集めている以下の諸点を中心にフォーカスし、内容を構成している。

　●　マルチモーダルLLM
　●　オープンソースLLM
　●　ドメイン特化型 LLM
　●　LLMエージェント
　●　小規模LLM（SLM）／量子化LLM
　●　スーパー小型言語モデル（STLM）
　●　ミニCPM
　●　LLMの学習効率・学習安定性
　●　トランスフォーマー・アーキテクチャー
　●　最適化技術
　●　ポリシー最適化（PPO）
　●　ゼロショット／少数ショットの能力向上
　●　LLM推論の最適化／推論効率
　●　思考連鎖（CoT）
　●　プログラム支援言語モデル（PAL）
　●　モデル圧縮
　●　タイムトゥファーストトークン （TTFT）の削減
　●　ロングコンテキストのLLM（LVLM）
　●　MoE （Mixture-of-Experts）アーキテクチャ
　●　RAG
　●　微調整技術
　●　インコンテクスト数ショット学習
　●　アテンションメカニズム／アテンション・パターンの効果的な探索
　●　自己注意メカニズム／エンコーダのみモデル／デコーダのみモデル
　●　LLMオートレーター
　●　緻密な検索（DR）モデル／事前学習モデル
　●　拡散モデル
　●　モデル結合
　●　幻覚、性能格差等を調査するためのベンチマーク
　●　幻覚回避技術
　●　長文高密度検索モデル
　●　非トランスフォーマー言語モデル
　●　ニューラル・ネットワーク
　●　LLMと外部アプリケーションとの相互作用
　●　LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク
　●　PAL（Program-Aided Language Models)
　●　ReAct (Reasoning and Acting)
　●　LangChain
　●　RLHF(Reinforcement Learning from Human Feedback)
　●　ReST(Reinforced Self-Training)
　●　分散データ並列(DDP)／完全分割データ並列(FSDP)

本白書は、これらLLMの進歩に係る重要なテーマを包括的・体系的に取り上げ、それぞれのポイントを解きほぐし、必要な情報をまとめた調査報告書である。

本白書がLLMに関する体系的な客観情勢の把握と認識の深化に役立ち、貢献することを願っている。


■内容編成（目次）■

序

第1章　大規模言語モデル：過去、現在、そして未来

1-1　概説
［1］　概要
［2］　コンピュートCPUからGPUへ
［3］　LLMの技術的な現状
1-2　基本的なLLMを超えるフェーズへ
［1］　アルゴリズム統計からトランスフォーマーへ
［2］　将来への展望
［3］　LLMの創発的な能力
［4］　LLMの未来
1-3　大規模言語モデル（LLM）の企業への導入
［1］　大規模言語モデル(LLM)と企業データとの関連付け
［2］　製造業における大規模言語モデル
［3］　エンタープライズLLMアプリ
［4］　エンタープライズ LLMOps - LLM の微調整
［5］　マルチエージェント LLM オーケストレーション
［6］　ブラックボックスLLM API
［7］　AIガバナンスの仕組みとして監査が期待される背景
1-4　大規模言語モデルの潜在的な可能性
［1］　LLMの性能拡張
［2］　コンテクスト性／トランスフォーマー・アーキテクチャー
［3］　予測可能性／予測精度の高さ
［4］　人間の神経細胞の模倣／人工神経回路を追及する先端LLM
［5］　英語以外の言語用のLLMの構築


第2章　大規模言語モデル(LLM)で起きている大きなトレンド［1］

2-1　マルチモーダルLLM
2-2　オープンソースLLM
2-3　ドメイン特化型 LLM
2-4　LLMエージェント
2-5　小規模LLM（SLM）／量子化LLM
2-6　スーパー言語モデル（STLM）
2-7　ミニCPM
2-8　LLMの学習効率、学習安定性
2-9　トランスフォーマー・アーキテクチャー
2-10　最適化技術
2-11　ポリシー最適化（PPO）
2-12　ゼロショット、少数ショットの能力向上
2-13　LLM推論の最適化／推論効率
2-14　モデル圧縮
2-15　タイムトゥファーストトークン （TTFT）の削減
2-16　ロングコンテキストのLLM（LVLM）


第3章　大規模言語モデル(LLM)で起きている大きなトレンド［2］

3-1　MoE （Mixture-of-Experts）アーキテクチャ
3-2　RAG
3-3　微調整技術
3-4　インコンテクスト数ショット学習
3-5　自己注意メカニズム／エンコーダのみモデル／デコーダのみモデル
3-6　LLMオートレーター
3-7　緻密な検索（DR）モデル／事前学習モデル
3-8　拡散モデル
3-9　モデル結合
3-10　アテンションメカニズム、アテンション・パターンの効果的な探索
3-11　長文高密度検索モデル


第4章　大規模言語モデル(LLM)で起きている大きなトレンド［3］

4-1　非トランスフォーマー言語モデル
4-2　ニューラル・ネットワーク
4-3　LLMと外部アプリケーションとの相互作用
4-4　LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク
4-5　PAL（Program-Aided Language Models)
4-6　ReAct (Reasoning and Acting)
4-7　LangChain
4-8　RLHF(Reinforcement Learning from Human Feedback)
4-9　ReST(Reinforced Self-Training)
4-10　分散データ並列(DDP)／完全分割データ並列(FSDP)


第5章　LLMのリスク、課題

5-1　競争上の圧力、透明性の欠如、モデルの攻撃、モデルの盗用リスク
5-2　関連研究
　　［1］　研究チーム　「ChatGPTとGoogleのPaLM-2に対するAIモデル盗用攻撃」


第6章　LLMのコスト削減策を巡る動向

6-1　コード実行や推論タスクの精度を向上させる動き
6-2　GPT-4o miniによるAIコスト削減
6-3　統一したエコシステム整備を模索する動き
6-4　イノベーションのためのパートナーシップを模索する動き


第7章　LLM学習コストの削減／メモリー効率向上

7-1　概説
7-2　メモリ効率の良い学習
7-3　メモリフットプリントと活性化
7-4　メモリ使用量を削減する効率的なファインチューニング・アプローチ
7-5　メモリフットプリントを削減する適応KVキャッシュ圧縮
7-6　トークン削除とKVキャッシュ圧縮
7-7　分散トレーニング
7-8　PyTorchモデルの量子化
7-9　関連研究
　　［1］　マサチューセッツ工科大学、プリンストン大学、Together AIの研究グループ　「LLMの重みデルタの量子化、複数の微調整モデルを効率的にリソース削減　「BitDelta￥
　　［2］　カリフォルニア工科大学／カーネギーメロン大学他研究チーム　「ミニシーケンストランス最適化」
　　［3］　マイクロソフトAI　高度な通信最適化戦略による効率的なLLMの学習・トレーニングの最適化
　　［4］　HuggingFace　「計算コストとメモリコストを削減するPython量子化ツールキット」
　　［5］　QLORA　「メモリ使用量を削減するファインチューニング・アプローチ」


第8章　プロンプト工学と最適化

8-1　ニューラルネットワークのトレーニングから離散的な自然言語空間におけるLLMの入力プロンプトの最適化へ
8-2　プランニングと最適化のためのLLM
8-3　プロンプトエンジニアリングと最適化
8-4　マルチエージェントシステムのためのLLM
8-5　関連研究
　　［1］　マックス・プランク知能システム研究所他　「言語化された機械学習：言語モデルによる機械学習の再検討」
　　［2］　マイクロソフトリサーチ／カーネギーメロン大学の研究者　「戦略的プロンプト・エンジニアリングと要約によるLLMの意思決定ナビゲーション」


第9章　モデル圧縮

9-1　概説
9-2　LLM圧縮による効率性、信頼性の向上
　　［1］　メモリコスト
　　［2］　GPUの利用
　　［3］　信頼性の要件
9-3　大規模モデルの量子化
9-4　単一GPUを超えてモデル学習を拡張する技術
9-5　エッジとクラウドのリソース活用
9-6　ニューラルネットワークのスケーリング／トランスフォーマーのスケーリング
9-7　規模拡大のための現実的な課題
9-8　スケーラブルなLLMと高性能コンピューティングの統合
9-9　関連研究
　　［1］　gptq: 生成的事前学習変換器のための正確な事後学習量子化
　　［2］　清華大学／マイクロソフトリサーチ研究チーム　「AIモデルのスケーラビリティとパフォーマンスの向上:マルチヘッド混合エキスパートに関する研究」
　　［3］　Inspectus　オープンソースの大規模言語モデルLLMアテンション可視化ライブラリ　「Inspectus」
　　［4］　カリフォルニア大学バークレー校　「大規模言語モデルサービングの品質とスピードを両立させる密度とパースの量子化：SqueezeLLM」


第10章　量子化／LLMの2値化

10-1　概説
10-2　ネットワークの2値化
10-3　モデル／アプローチ事例
10-4　関連研究
　　［1］　ワシントン大学　「量子化LLMの効率的な微調整：QLORA:」
　　［2］　ハメド・ビン・ザーイドAI大学／カーネギーメロン大学研究チーム　「自己回帰蒸留により、完全に2値化されたLLMをゼロからスケールアップ：FBI-LLM:」
　　［3］　イリノイ工科大学他研究チーム　「部分的に2値化された大規模言語モデル：pb-llm」


第11章　量子化の手法別検証

11-1　概説
11-2　量子化手法
　　［1］　重みのみの量子化
　　［2］　重み活性化量子化
　　［3］　重量活性化量子化
11-3　LLM量子化への挑戦


第12章　量子化グリッドの種類とその柔軟性

12-1　概説
　　［1］　ニューラルネットワークの量子化
　　［2］　量子化グリッドの種類とその柔軟性
　　［3］　ベクトル量子化の課題
12-2　関連研究
　　［1］　クアルコムAIリサーチ　「LLM量子化における次元性の恩恵：GPTVQ」


第13章　パラメータ効率の良いファインチューニング手法

13-1　概説
13-2　大規模言語モデルの低ランク適応
13-3　大規模言語モデルの重み量子化
13-4　パラメータ効率の良い微調整
13-5　低ランク＋スパース／量子化行列分解
13-6　LLM圧縮
13-7　関連研究
　　［1］　カーネギーメロン大学／コロンビア大学他研究チーム　「効率的な言語モデルの微調整のための低ランク＋量子化行列分解：lq-lora」
　　［2］　NVIDIA　「低ランク適応（LoRA）法のパラメータ効率向上を目指すアプローチ：Tied-Lora」


第14章　LLMのパラメータサイズ縮減、パフォーマンス向上のアーキテクチャ別特性

14-1　概説
14-2　検索支援トレーニングによるアプローチ
14-3　スパース計算によるアプローチ
14-4　Mixture of Depthアーキテクチャによるアプローチ
14-5　メモリとしてのパラメータによるアプローチ
14-6　研究チーム、参入企業動向
　　［1］　上海先端アルゴリズム研究所／北京大学機械学習研究センター研究チーム　「明示的なメモリ・メカニズム導入によるLLMの効率性とパフォーマンス向上」


第15章　LLMの学習効率、学習安定性の問題と解法

15-1　概説
15-2　LLMトレーニング
15-3　LLMの最適化
15-4　データセンターにおける診断ツール
15-5　大規模分散システムにおけるフォールトトレランス
15-6　関連研究
　　［1］　メガスケール：大規模言語モデル学習を10,000以上のGPUに拡張する


第16章　事前学習モデルとLLMのパフォーマンス向上促進

16-1　概説
16-2　PaLM（Pathway言語モデル）
16-3　PaLM 2の多言語機能:
16-4　Med-PaLM（バイオメディカルデータをエンコード、解釈する大規模マルチモーダル生成モデル）
16-5　AudioPaLM（高精度で聞き取り、話し、翻訳する音声言語モデル）
16-6　事前学習時にトークン数を増やすプロセス
16-7　クリーンで多様な事前学習データの使用
16-8　関連研究
　　［1］　Google Research／Google DeepMind研究チーム　「生物医学的活動をまとめた独自のベンチマーク：MultiMedBench」
　　［2］　Google研究チーム　「高精度で聞き取り、話し、翻訳する新しい大規模言語モデル：AudioPaLM」


第17章　LLM学習リソース／GPUメモリ要件

17-1　膨大なメモリ消費量と解決に向けた取り組み
17-2　複数のGPUにまたがったモデル学習のスケーリング
17-3　1ビットLLM
17-4　関連研究
　　［1］　香港科学技術大学他研究チーム　「メモリ効率の良い大規模言語モデルの微調整のための階層的重要度サンプリング：LISA」


第18章　事前学習したドメイン特化型生成型トランスフォーマーモデル

18-1　概説
18-2　金融LLM
18-3　金融に特化したLLMに関する研究動向
18-4　法務LLM
18-5　法務LLMに関する研究動向
18-6　大規模な文献で事前学習されたドメイン固有の生成変換言語モデル
　　［1］　概説
　　［2］　Microsoft Research　「BioGPT」
18-7　モデル事例
　　［1］　BERT
　　［2］　医療領域を支援する大規模言語モデル　「Med-PaLM」
18-8　関連研究
　　［1］　マイクロソフトリサーチ　「大規模な文献で事前学習したドメイン特化型生成型トランスフォーマー言語モデル：BioGPT」


第19章　LLMの微調整戦略

19-1　概説
19-2　ファインチューニングによる大規模言語モデルの性能向上
19-3　マルチタスク微調整と命令調整モデル
19-4　パラメータ効率微調整（PEFT）
19-5　低ランク適応（LoRA）
19-6　比較分析
19-7　LLMの微調整と時間知識グラフ（TKG）モデルの解釈可能性と適応性向上
19-8　関連研究
　　［1］　スタンフォード大学の研究者がインコンテキストベクター（ICV）を発表： 大規模言語モデルを微調整するスケーラブルで効率的なAIアプローチ
　　［2］　大規模言語モデルによる動的適応(LLM-DA)：時間知識グラフ上の推論のための機械学習手法 TKGs


第20章　LLM推論における生成タスクの主な性能ボトルネックと解法アプローチ

20-1　概説
20-2　LLMで急増する推論オーバーヘッドとその解決
20-3　チャットAIの多元的アプローチ
20-4　生成システムの組み合わせ／アンサンブルアプローチ
20-5　LLM量子化
20-6　非一様量子化
20-7　外れ値を考慮した量子化
20-8　密と疎の分解
20-9　関連研究
　　［1］　カリフォルニア大学バークレー校 ／顕微授精 ／LBNLSqueezeLLM: 密度とパースの量子化
　　［2］　ケンブリッジ大学 ユニバーシティ・カレッジ・ロンドン／チャイ・リサーチ研究チーム　「複数のチャットAIを統合するブレンディングアプローチ」
　　［3］　ケンブリッジ大学他　「兆パラメータLLM」


第21章　CPU上でのLLMの効率的な推論を提供する技術

21-1　概説
21-2　関連研究
　　［1］　インテル　「CPU上のLLMをより効率的に展開する新しい人工知能アプローチ」


第22章　LLMの量子化・圧縮

22-1　概説
22-2　大言語モデルの圧縮
22-3　大言語モデルの量子化
22-4　Post-Training Quantization (PTQ)
22-5　Quantization-Aware Training (QAT)
22-6　重み量子化
22-7　非一様量子化
22-8　外れ値を考慮した量子化
22-9　密と疎の分解
22-10　LLM重みの量子化感度
22-11　構造化されていない外れ値
22-12　SpQR：感度を考慮した圧縮表現
22-13　高感度外れ値
22-14　関連研究
　　［1］　チューリッヒ工科大学他研究チーム　「損失の少ないLLM重み圧縮のためのスパース量子化表現：SpQR」
　　［2］　UCバークレー他研究チーム　「密度とパースの量子化“SqueezeLLM」


第23章　効率的なLLM推論を行うための手法

23-1　概説
23-2　タイムトゥファーストトークン （TTFT）の削減
23-3　関連研究
　　［1］　アップル／メタAI　「効率的な長いコンテキストのLLM推定のための動的トークン刈り込み：LazyLLM」


第24章　ロングコンテキストのLLM（LVLM）

24-1　概説
24-2　LVLMの文書自動理解（DU）と能力評価（ベンチマーク）
24-3　文書理解のためのモデル
24-4　ロングシークエンス・トレーニングのハードウェア性能
24-5　長いシーケンスを用いて大規模なモデルを学習する能力の最適化


第25章　MoE （Mixture-of-Experts)の体系、最新研究開発・実装動向

25-1　概説
25-2　LLMとMoEの関係
25-3　MoE言語モデルに関する最新研究動向
25-４　学習後のLLMの量子化
25-5　パラメータオフロードによる推論
25-6　疎に活性化されたMoEアーキテクチャー
25-7　MoEの課題
25-8　オープンソースMoEシステム用フレームワーク
　　［1］　Microsoft　「Deepspeed-MoE」
　　［2］　Microsoft　「Tutel」
　　［3］　Meta 　「Fairseq」
　　［4］　TensorFlow Google 　「Mesh」
　　［5］　Baidu　「SE-MoE」
ロボット　Colossal-AI 　「OpenMoE」
　　［7］　Mila Quebec 　「ScatterMoE」
　　［8］　スタンフォード大学　「Megablocks」
　　［9］　Hetu 　「HetuMoE
　　［10］　清華大学　「FastMoE」
25-9　関連研究
　　［1］　ハルビン工業大学研究チーム　「疎なMoEアーキテクチャに基づく統合マルチモーダルLLM：Uni-MoE」
　　［2］　テンセント・フンユアン／東京工業大学／マカオ大学　「異種混合エキスパート(HMoE):多様なエキスパート能力によるモデルの効率性とパフォーマンスの向上」
　　［3］　テンセント・フンユアン／マサチューセッツ工科大学　「言語モデリングのための専門家の異種混合：HMoE」
　　［4］　モスクワ物理工科大学　「オフロードを用いた専門家混合言語モデルの高速推論」
　　［5］　研究チーム　「MoEによる言語モデルの効率的なスケーリング：GLaM」


第26章　RAG（Retrieval Augmented Generation)

26-1　概説
26-2　従来のRAGフレームワークの問題点と解法
26-3　検索-拡張生成
26-4　長い文脈の大きな言語モデル
26-5　関連研究
　　［1］　ウォータールー大学　「ロングコンテクストLLMによる検索補強生成の強化：LongRAG」
　　［2］　インテル研究所　「RAGユースケース向けにLLMを拡張するオープンソースのPythonフレームワーク：RAG Foundry」


第27章　LLMと外部アプリケーションとの相互作用

27-1　概説
27-2　プログラム支援言語モデル（PAL）


第28章　複雑な問題解決のためのReAct (Reasoning and Acting)フレームワーク

28-1　概説
28-2　関連研究
　　［1］　プリンストン大学／Google　「ReActを提案:大規模言語モデルにおける推論と行動の相乗効果を生み出す効果的な手法」


第29章　知識グラフ推論のための事前学習済みモデル

29-1　概説
29-2　関連研究
　　［1］　研究チーム　あらゆるグラフで動作する知識グラフ推論のための事前学習済み基礎モデル「ULTRA」


第30章　コード生成のために事前学習済みモデル

30-1　概説
30-2　関連研究
　　［1］　中国科学院、北京大学研究チーム　「コード生成のために事前学習済みモデルを効率的に強化するPanGu-Coder2モデル／RRTFフレームワーク」


第31章　事前学習済みの拡散モデルと制御可能な生成を可能にするAIフレームワーク

31-1　概説
31-2　拡散モデルの発展
31-3　最適化されたサンプリング効率
31-4　関連研究
　　［1］　シンガポール国立大学　「拡散モデルを無料で高速化するDeepCache」


第32章　マルチモーダル事前学習モデル

32-1　概説
32-2　関連研究
　　［1］　研究チーム　「視覚言語事前学習モデルと、ユニモーダルおよびマルチモーダルタスクにおけるその役割に関する包括的な調査」
　　［2］　M-A-P、ウォータールー大学、HKUST、マンチェスター大学研究チーム　事前トレーニング済み音楽ファウンデーション・モデルのAIモデルシリーズ　「MuPT」


第33章　事前学習された拡散モデルによる超解像（SR）技術

33-1　概説
33-2　関連研究
　　［1］　研究チーム　事前に訓練された拡散モデルの力を利用したAI超解像アプローチ　「StableSR」


第34章　バイリンガル事前学習済み言語モデル
34-1　概説
34-2　関連研究
　　［1］　清華大学／Zhipu.AI研究チーム　130Bのパラメータを持つバイリンガル（英語と中国語）事前学習済み言語モデル　「GLM-130B」


第35章　蒸留・棄却サンプリングを使用する反復的なファインチューニング

35-1 概説
35-2　関連研究
　　［1］　ハーバード大学　学習済みの言語モデルを適応させる機械学習「Q-Probing」


第36章　最適化技術

36-1　概説
36-2　言語モデルの微調整
36-3　オープンソースLLM
36-4　関連研究
　　［1］　ダイヤルパッド　「より小さな大規模言語モデル」


第37章　モデルの強固な整合性確保

37-1　モデルのアライメント
37-2　モデル・アライメントに対する攻撃
37-3　モデルの頑健性
37-4　グリッチトークン
37-5　関連研究
　　［1］　シンガポール国立大学　「単一文字の摂動がLLMアライメントを崩す」
　　［2］　EPFL　「LLMにおける頑健な拒否訓練の強化：過去時制の改編攻撃と潜在的防御策」


第38章　LLMの追加の適応／経験リプレイ

38-1　概説
38-2　知識蒸留（Knowledge Distillation; KD; HVD15）
38-3　デン状態または注意スコア
38-4　壊滅的な忘却
38-5　関連研究
　　［1］　モデル・マージによる言語伝達における壊滅的な忘却の軽減


第39章　推論能力を向上させる方法

39-1　概説
39-2　一般的な反復アライメント手法
39-3　推論能力を向上させる方法
39-4　関連研究
　　［1］　ニューヨーク大学研究チーム　「反復推論による選好最適化」


第40章　視覚言語や画像生成モデルにも応用され、注目を集めている直接選好最適化（DPO）

40-1　概説
40-2　関連研究
　　［1］　スタンフォード大学研究チーム　「From r to Q∗ : あなたの言語モデルは密かにQ関数である」


第41章　LLMにおける反復的な人間の関与／IoT（Iteration of Thought）フレームワーク

41-1　概説
41-2　人間のフィードバックを利用してテキストから画像へのAIモデルを改善するアプローチ
41-3　関連研究
　　［1］　Google／U.C.Berkeley　「人間のフィードバックによる強化学習（RLHF）」
　　［2］　トロント大学　「思考の反復：自律的な大規模言語モデル推論のための内的対話の活用」


第42章　専門家のスパース混合（SMoE）言語モデル

42-1　概説
42-2　関連研究
　　［1］　Mixtral−スパースなMoEネットワーク
　　［2］　清華大学／マイクロソフトリサーチ　「多人数の専門家混合ヘッド」


第43章　人間フィードバックからの強化学習に代わる有望な手法に関する研究

43-1　概説
43-2　LMのアライメント
43-3　関連研究
　　［1］　Google DeepMind研究チーム　「LiPO：ランク学習によるリストワイズ選好最適化」


第44章　人間のフィードバックに適合した報酬モデル（RM）と過剰最適化によるアライメント問題の解決

44-1　概説
44-2　関連研究
　　［1］　グーグル・ディープマインド他研究チーム　「報酬モデルの過剰最適化に立ち向かう制約付きrlhf」


第45章　LLMによる検索結果の向上

45-1　概説
45-2　OpenSearchにおけるセマンティック検索パイプラインのセットアップの概略


第46章　人間の選好の矛盾に対処し、選好をより柔軟に表現できるアルゴリズムの設計

46-1　概説
46-2　RLHFに対する既存のアプローチ
46-3　パラメトリック選好モデル
46-4　Explicit/Implicit Reward Modelを用いたRLHF
46-5　一般的選好モデルによるRLHF
46-6　RLHFの理論的保証を提供する研究
46-7　セルフプレイ・ファインチューニング
46-8　嗜好データの有無にかかわらず柔軟にシナリオに適用できるセルフプレイの微調整
46-9　ロボット等における多ラウンドマルコフ決定過程（MDP）に焦点を当てた自己再生嗜好最適化(SPO)
46-10　クロスエントロピーに基づく直接ナッシュ最適化（DNO）アルゴリズム
46-11　関連研究


第47章　長い文脈の入力や複雑なコード構造に渡る複雑な推論における課題と解決のためのアプローチ

47-1　概説
47-2　関連研究
　　［1］　シンガポール国立大学、アリババグループ、西安交通大学の研究者チーム　「CODEXGRAPH: コードグラフデータベースによる大規模言語モデルとコードリポジトリの橋渡し」


第48章　LLMのポストトレーニングを巡る新しい波：報酬最大化の枠組みからの脱却／ペアワイズ、直接最適化

48-1　概説
48-2　報酬モデル
48-3　直接選好最適化(DPO)
48-4　RLHFと一般的なプリファレンス
48-5　オンラインRLHFアルゴリズム
48-6　報酬モデル拡張SFT
48-7　オフラインの対比的選好学習
48-8　統計的棄却サンプリング最適化(RSO)
48-9　反復的な報酬ベースの微調整(ReST)
48-10　オンポリシー対照学習：Self-Rewarding Language Models
48-11　オンポリシー一般選好最適化
48-12　関連研究
　　［1］　マイクロソフト・リサーチ　「直接ナッシュ最適化：言語モデルに一般的な嗜好による自己改善を教える」


第49章　LLMオートレーターの学習・報酬モデル

49-1　概説
49-2　オートレーターの空間における先行研究
　　［1］　自動評価メトリクス
　　［2］　LLMをジャッジとするオートレーナー
　　［3］　汎用のLLMオートレーナー
　　［4］　報酬モデル
49-3　関連研究
　　［1］　Google DeepMind他研究チーム　「基礎的なオートレーターより良い自動評価のために大規模言語モデルを飼いならす」


第50章　非トランスフォーマー言語モデル

50-1　概説
50-2　Mamba
50-3　RWKV
50-4　ニューラル・ネットワーク
　　［1］　モデルのスケーリング
　　［2］　ハードウェア
　　［3］　ソフトウェア
　　［4］　モデルの学習と推論における並列性
　　［5］　自動化された並列処理
　　［6］　条件付き計算と機械翻訳
50-5　関連研究
　　［1］　Google　「条件計算と自動シャーディングによる巨大モデルのスケーリング：GShard」


第51章　LLMエージェント開発の強固な戦略を提供する主な設計パターン

51-1　概説
51-2　専門化（スペシャライゼーション）／専門知識のオーケストレーション
51-3　ツールスイート（大規模なツールセット）による専門化
51-4　ディベート／ディスカッションによる意思決定の強化
51-4　委任（Delegation）／並列処理による効率の向上
51-5　並列化／コストとスピードのバランス


第52章　LLMの事実性を向上させるためのアプローチ

52-1　概説
52-2　研究チーム、参入企業動向
　　［1］　カーネギーメロン大学／スタンフォード大学研究チーム　「戦略的なQAデータセット構成によってLLMの事実精度を向上させるための洞察」


第53章　LLMを導入する際のコストと性能のトレードオフを最適化

53-1　費用対効果の高いLLM
53-2　研究チーム、参入企業動向
　　［1］　UC Berkeley／Anyscale／Canva研究チーム　「費用対効果の高いLLMルーティングのためのオープンソースフレームワーク」


第54章　大規模言語モデルのスケーリング

54-1　概説
54-2　 言語モデルのスケーリング法則に関する最近の研究
　　［1］　モデルのスケーリング
　　［2］　システムのスケーリング
54-3　関連研究
　　［1］　分散・並列ソフトウェア研究所、ファーウェイ・テクノロジー　「PANGU-Σ：スパースヘテロジニアスコンピューティングによる1兆パラメータ言語モデル」


第55章　大規模マルチモーダルモデル（LMM）を統合能力を評価するためのベンチマーク

55-1　概説
55-2　関連研究
　　［1］　シンガポール国立大学／マイクロソフト／アドバンスト・マイクロ・デバイス　「統合機能のための大規模マルチモーダルモデルを評価するチャレンジングなベンチマーク：v2」
　　［2］　北京交通大学、福州大学、Institute of Automation CAS 研究チーム　「LLMの使用能力を評価する新しい標準ベンチマークツール：WTU-Eval」


第56章　拡散モデル／生成的視覚モデリング

56-1　概説
56-2　テキストの反転と文体の移行
56-3　人間の嗜好モデリング
56-4　反復フィードバック


第58章　多言語LLM／多言語の多種多様なタスクに対応する言語理解(MMMLU)

58-1　概説
58-2　自然言語処理アプリケーション向けに設計された多言語マルチタスクテキスト埋め込みモデル
58-3　多言語環境におけるモデルの性能とリソース効率のバランス調整
58-4　ツールの使用と関数の呼び出しをサポートする多言語モデル
58-5　研究チーム、参入企業動向
　　［1］　OpenAI　「多言語の多種多様なタスクに対応する言語理解用データセット公開」
　　［2］　テキサス大学オースティン校／Jina AI GmbH研究チーム　「パフォーマンス向上とストレージ削減を達成した多言語検索モデル：Jina-ColBERT-v2」
　　［3］　Jina AI GmbH　「様々な自然言語処理アプリケーションのために設計された多言語マルチタスクテキスト埋め込みモデル」
　　［4］　Mistral AI　「多目的・多言語 AI アプリケーションを強化するオープンソース言語モデル
　　［5］　XVERSE Technology　「MOEアーキテクチャと大規模言語処理における新たな基準を設定する多言語 AI モデル: XVERSE-MoE-A36B」
　　［6］　Cohere For AI　「多言語AIのための104Bと35Bパラメータを持つ強力な言語モデル：Command R (35B)／Command R+ (104B)のアップデート」


第59章　LLMの主要課題（幻覚、性能格差等）を調査するためのベンチマーク

59-1　概説
59-2　幻覚の正確な再度定義、定量化
59-3　知識グラフ・データセット
59-4　知識グラフ上でのLLMの学習
59-5　幻覚率とその尺度
59-6　幻覚の検出可能性とその尺度
59-7　研究チーム、参入企業動向
　　［1］　メリーランド大学／ミシガン州立大学研究チーム　「世界銀行の国別データから構成されるダイナミックで柔軟なLLMベンチマーク：WorldBench」
　　［2］　マサチューセッツ工科大学／ワシントン大学研究チーム　「幻覚検出へのルックバックレンズ・アプローチ」


第60章　LLMにおける幻覚の問題と対策

60-1　概説
60-2　幻覚を回避する方法を提案する先行研究
　　［1］　LLMにおける幻覚研究の焦点
　　［2］　分類器ガイド付き生成
　　［3］　自己アテンションとモデル行動／アテンション
60-3　事例
　　［1］　マサチューセッツ工科大学／ワシントン大学　「LLMの信頼性を向上させる幻覚検出のためのルックバックレンズアプローチ￥
　　［2］　グーグル・ディープマインド　「知識グラフで言語モデルを学習する：幻覚とその検出可能性に関する洞察」
　　［3］　IBMリサーチ／T.J.ワトソン研究センター研究チーム　「LLMの幻覚を軽減する新しいトレーニング不要のAIアプローチ」


第61章　幻覚検出研究の最新動向／最先端の幻覚検出モデル

61-1　概説
61-2　推論（NLI）によるアプローチ
61-2　データセットによるアプローチ
61-3　包括的な幻覚評価ベンチマークによるアプローチ
　　［1］ Patronus AI　「GPT-4o等の最先端LLMを上回るSOTA幻覚検出LLM：Lynx」
　　［2］　Lakera 　「LLMの脆弱性から防御するためにAIを活用するリアルタイムGenAIセキュリティ：Lakera AI」


第62章　アテンションの2次的な複雑さに対処する方法

62-1　概説
62-2　研究チーム、参入企業動向
　　［1］　「効率的なロングコンテクスト処理のためのSampleAttentionの導入」


第63章　LLM報酬学習の一般化可能性（GRM）と頑健性向上

63-1　概説
63-2　研究チーム、参入企業動向
　　［1］　香港科技大学、ジョージア工科大学、イリノイ大学アーバナ・シャンペーン校研究チーム　「LLMの報酬学習の一般化可能性と頑健性を向上させる効率的なAIアプローチ」


第64章　大量の視覚データとテキストデータを統合処理による高度なヒューマンコンピュータインタラクションの応用

64-1　概説
64-2　研究チーム、参入企業動向
　　［1］　マイクロソフト　「マルチモーダル入力、膨大なテキスト、多言語に対応するモデル：Phi 3.5シリーズ」


第65章　全二重コミュニケーションを提供するリアルタイム音声対話モデル

65-1　概説
65-2　研究チーム、参入企業動向
　　［1］　Kyutai Labs　「、全二重リアルタイム対話システム：Moshi」


第66章　大規模推論モデル（LRM）

66-1　概説


第67章　特定タスクの微調整用のデータ増強によるデータキュレーションへの依存軽減

67-1　概説
67-2　関連研究


第68章　モデルの刈り込みと知識蒸留によるより高速でリソース消費の少ないモデル作成

68-1　概説
68-2　研究チーム、参入企業動向
　　［1］　NVIDIA 　「高度な刈り込みと知識抽出技術による効率とパフォーマンスの再定義：Mistral-NeMo-Minitron 8B」


第69章　LLMの脆弱性から守るLLMセキュリティ

69-1　概説
69-2　研究チーム、参入企業動向
　　［1］　Lakera AI
　　他