LLMOps打造穩定運行的大型語言模型系統
LLMOps: Managing Large Language Models in Production
活動訊息
普發一萬放大術：滿千登記抽萬元好禮
全站滿$1000送100點金幣，可累送! 新會員直接領$500！
內容簡介
「使用 AI 來開發應用程式日益簡單，但在將 LLM 部署到生產環境時，才會面臨真正的挑戰。本書是我用來教導學生掌握複雜的 LLMOps，並成功部署大型語言模型的重要指南。本書以清楚、可行的解決方案，幫助讀者將 LLM 原型轉化為穩定、可投入生產的 AI 系統，是一本不可或缺的讀物。」
—— Ammar Mohanna，EDT&Partners 首席 AI 顧問暨貝魯特美國大學講師
「本書透過清楚、可實作的指導揭開 LLMOps 的神秘面紗。這本完美的資源非常適合機器學習工程師、平台團隊，以及想將 LLM 從原型推向生產環境的所有人。」
—— Nirmal Budhathoki，微軟資深資料科學家
大型語言模型的一大特點，是它們不再依循舊規則。在運行 GenAI 時，傳統的 MLOps 幾乎無助於事，模型會產生幻覺、安全假設不再成立、監視機制失靈、agent 可能無法正常運作，你會突然進入一片未知的領域。這就是 LLMOps 成為一個獨立領域的原因。
本書將帶領你在真正的使用者面前，以及在現實的商業環境中成功運行這些系統。本書不會教你做出華麗的 demo，而是教你讓 LLM 系統在現實世界中穩定運作。
• 掌握運作 LLM 所需的新角色與流程
• 在傳統指標無法全面反映效能時，監視 LLM 的實際表現
• 針對 GenAI 設計真正有意義的評估、治理、安全稽核機制
• 管理 agent、RAG 系統，與不斷演變的提示詞帶來的營運混亂
• 擴展基礎設施，並且控制運算成本
—— Ammar Mohanna，EDT&Partners 首席 AI 顧問暨貝魯特美國大學講師
「本書透過清楚、可實作的指導揭開 LLMOps 的神秘面紗。這本完美的資源非常適合機器學習工程師、平台團隊，以及想將 LLM 從原型推向生產環境的所有人。」
—— Nirmal Budhathoki，微軟資深資料科學家
大型語言模型的一大特點，是它們不再依循舊規則。在運行 GenAI 時，傳統的 MLOps 幾乎無助於事，模型會產生幻覺、安全假設不再成立、監視機制失靈、agent 可能無法正常運作，你會突然進入一片未知的領域。這就是 LLMOps 成為一個獨立領域的原因。
本書將帶領你在真正的使用者面前，以及在現實的商業環境中成功運行這些系統。本書不會教你做出華麗的 demo，而是教你讓 LLM 系統在現實世界中穩定運作。
• 掌握運作 LLM 所需的新角色與流程
• 在傳統指標無法全面反映效能時，監視 LLM 的實際表現
• 針對 GenAI 設計真正有意義的評估、治理、安全稽核機制
• 管理 agent、RAG 系統，與不斷演變的提示詞帶來的營運混亂
• 擴展基礎設施，並且控制運算成本
目錄
第一章 大型語言模型導論
一些關鍵術語
Transformer 模型
大型語言模型
LLM 架構
選擇合適的 LLM
企業級 LLM 應用場景
用 LLM 來開發的十項挑戰
結語
參考文獻
第二章 LLMOps 概論
什麼是運作框架？
LLMOps 團隊與角色
LLM 與你的組織
LLMOps 的四大目標
LLMOps 成熟度模型
結語
第三章 用LLM 來開發應用程式
在應用程式中使用 AI 模型
基礎設施應用
vLLM 與多模態 LLM 的興起
LLMOps 的核心問題
在以 LLM 為核心的應用程式中，你能控制什麼？
內建 LLM 的基礎設施系統「更難」開發
結語
參考文獻
第四章 LLM 領域的資料工程
資料工程與 LLM 的興起
DataOps 工程師的角色
資料管理
LLM 通用資料預處理作業線
向量化
結語
參考文獻
延伸閱讀
第五章 讓 LLM 應用程式的模型適應領域
從零開始訓練 LLM
模型集成方法
模型領域適應
提示工程
微調
專家混合模型
為資源有限的設備優化模型
有效開發 LLM 的啟示
結語
參考文獻
第六章 以 API 為優先，部署 LLM
部署你的模型
為 LLM 開發 API
API 實作
憑證管理
API 閘道
API 版本管理與生命週期管理
LLM 部署架構
將 RAG 自動化：使用 retriever re-ranker 作業線
自動更新知識圖譜
部署延遲優化
多模型調配
優化 RAG 作業線
隨需擴展與重複使用
結語
第七章 評估 LLM
為何評估是個難題
效能評估
一般評估考量
傳統指標已力有未逮
結語
第八章 治理：監視、隱私與安全
資料議題：規模與敏感性
安全風險
防禦措施：LLMSecOps
執行 LLMSecOps 稽核
安全與倫理護欄
結語
參考文獻
第九章 擴展：硬體、基礎架構與資源管理
選擇正確的方法
擴展與資源配置
監視
LLM 的 A/B 測試與影子測試
配置與管理自動化基礎架構
LLM 基礎架構優化
LLM 的平行與分散式運算
進階框架：ZeRO 與 DeepSpeed
結語
參考文獻
第十章 LLM 與 LLMOps 的未來
不斷擴展，突破現有界限
混合式架構：融合神經網路與符號式 AI
LLMOps 的未來
如何成為成功的 LLMOps 工程師
結語
參考文獻
延伸閱讀
索引
一些關鍵術語
Transformer 模型
大型語言模型
LLM 架構
選擇合適的 LLM
企業級 LLM 應用場景
用 LLM 來開發的十項挑戰
結語
參考文獻
第二章 LLMOps 概論
什麼是運作框架？
LLMOps 團隊與角色
LLM 與你的組織
LLMOps 的四大目標
LLMOps 成熟度模型
結語
第三章 用LLM 來開發應用程式
在應用程式中使用 AI 模型
基礎設施應用
vLLM 與多模態 LLM 的興起
LLMOps 的核心問題
在以 LLM 為核心的應用程式中，你能控制什麼？
內建 LLM 的基礎設施系統「更難」開發
結語
參考文獻
第四章 LLM 領域的資料工程
資料工程與 LLM 的興起
DataOps 工程師的角色
資料管理
LLM 通用資料預處理作業線
向量化
結語
參考文獻
延伸閱讀
第五章 讓 LLM 應用程式的模型適應領域
從零開始訓練 LLM
模型集成方法
模型領域適應
提示工程
微調
專家混合模型
為資源有限的設備優化模型
有效開發 LLM 的啟示
結語
參考文獻
第六章 以 API 為優先，部署 LLM
部署你的模型
為 LLM 開發 API
API 實作
憑證管理
API 閘道
API 版本管理與生命週期管理
LLM 部署架構
將 RAG 自動化：使用 retriever re-ranker 作業線
自動更新知識圖譜
部署延遲優化
多模型調配
優化 RAG 作業線
隨需擴展與重複使用
結語
第七章 評估 LLM
為何評估是個難題
效能評估
一般評估考量
傳統指標已力有未逮
結語
第八章 治理：監視、隱私與安全
資料議題：規模與敏感性
安全風險
防禦措施：LLMSecOps
執行 LLMSecOps 稽核
安全與倫理護欄
結語
參考文獻
第九章 擴展：硬體、基礎架構與資源管理
選擇正確的方法
擴展與資源配置
監視
LLM 的 A/B 測試與影子測試
配置與管理自動化基礎架構
LLM 基礎架構優化
LLM 的平行與分散式運算
進階框架：ZeRO 與 DeepSpeed
結語
參考文獻
第十章 LLM 與 LLMOps 的未來
不斷擴展，突破現有界限
混合式架構：融合神經網路與符號式 AI
LLMOps 的未來
如何成為成功的 LLMOps 工程師
結語
參考文獻
延伸閱讀
索引
配送方式
-
台灣
- 國內宅配：本島、離島
-
到店取貨：
不限金額免運費
-
海外
- 國際快遞：全球
-
港澳店取：
訂購/退換貨須知
加入金石堂 LINE 官方帳號『完成綁定』，隨時掌握出貨動態：
提醒您！！
金石堂及銀行均不會請您操作ATM! 如接獲電話要求您前往ATM提款機，請不要聽從指示，以免受騙上當！
退換貨須知：
**提醒您，鑑賞期不等於試用期，退回商品須為全新狀態**
-
依據「消費者保護法」第19條及行政院消費者保護處公告之「通訊交易解除權合理例外情事適用準則」，以下商品購買後，除商品本身有瑕疵外，將不提供7天的猶豫期：
- 易於腐敗、保存期限較短或解約時即將逾期。（如：生鮮食品）
- 依消費者要求所為之客製化給付。（客製化商品）
- 報紙、期刊或雜誌。（含MOOK、外文雜誌）
- 經消費者拆封之影音商品或電腦軟體。
- 非以有形媒介提供之數位內容或一經提供即為完成之線上服務，經消費者事先同意始提供。（如：電子書、電子雜誌、下載版軟體、虛擬商品…等）
- 已拆封之個人衛生用品。（如：內衣褲、刮鬍刀、除毛刀…等）
- 若非上列種類商品，均享有到貨7天的猶豫期（含例假日）。
- 辦理退換貨時，商品（組合商品恕無法接受單獨退貨）必須是您收到商品時的原始狀態（包含商品本體、配件、贈品、保證書、所有附隨資料文件及原廠內外包裝…等），請勿直接使用原廠包裝寄送，或於原廠包裝上黏貼紙張或書寫文字。
- 退回商品若無法回復原狀，將請您負擔回復原狀所需費用，嚴重時將影響您的退貨權益。
商品評價