打好AI的基礎：一探機器學習底層數學運作

序

自2012 年以來，隨著深度學習與強化學習的興起，機器學習與人工智慧成為科技領域熱門的話題。越來越多的在校生與在職人員開始學習這些知識。然而，機器學習（包括深度學習與強化學習）對數學有較高的要求。

不少數學知識（如最佳化方法、矩陣論、資訊理論、隨機過程、圖論）超出了理工科大學和研究所學生的學習範圍。即使對於理工科學生學習過的微積分、線性代數與機率論，機器學習中所用到的不少知識也超出了大學的教學範圍。看到書或論文中的公式和理論而不知其意，是很多讀者面臨的一大難題。

本書的目標是為讀者學好機器學習打下堅實的數學基礎，用最小的篇幅精準地覆蓋機器學習所需的數學知識系統。全書由8 章組成，包括一元函數微積分、線性代數與矩陣論、多元函數微積分、最佳化方法、機率論、資訊理論、隨機過程、圖論。對章節的順序與結構安排，作者有細緻的考量。

第1 章介紹一元函數微積分的核心知識，包括有關基礎知識、一元函數微分學、一元函數積分學，以及常微分方程，它們是瞭解後面各章的基礎。第2 章介紹線性代數與矩陣論的核心知識，包括向量與矩陣、行列式、線性方程組、矩陣的特徵值與特徵向量、二次型，以及矩陣分解，它們是學習多元函數微積分、最佳化方法、機率論，以及圖論等知識的基礎。第3 章介紹多元函數微積分，包括多元函數微分、多元函數積分，以及無窮級數。第4 章介紹最佳化方法，偏重於連續最佳化問題，包括各種數值最佳化演算法、凸最佳化問題、帶約束的最佳化問題、多目標最佳化問題、變分法，以及目標函數的構造，它們在機器學習中處於核心地位。第5 章介紹機率論的核心知識，包括隨機事件與機率、隨機變數與機率分佈、極限定理、參數估計問題、在機器學習中常用的隨機演算法，以及取樣演算法。用機率論的觀點對機器學習問題進行建模是一類重要的方法。第6 章介紹資訊理論的知識，包括熵、交叉熵、KL 散度等，它們被廣泛用於構造目標函數，對機器學習演算法進行理論分析。第7 章介紹隨機過程，包括馬可夫過程與高斯過程，以及馬可夫鏈取樣演算法。高斯過程回歸是貝氏最佳化的基礎。第8 章介紹圖論的核心知識，包括基本概念、機器學習中使用的各種典型的圖、圖的重要演算法，以及譜圖理論。它們被用於流形學習、譜聚類、機率圖模型、圖神經網路等機器學習演算法。

全書結構合理，內容緊湊，講解深入淺出。在工科數學（偏重計算）與數學專業（偏重理論與證明，更深入和系統）的教學內容和講授模式上進行了折中，使得讀者不僅知其然，還知其所以然，在掌握數學知識的同時培養數學思維與建模能力。

學習數學知識後不知有何用，不知怎麼用，是數學教學中長期存在的問題。本書透過從機器學習的角度講授數學知識，舉例說明其在機器學習領域的實際應用，使得某些抽象、複雜的數學知識不再抽象。部分內容緊接機器學習的新進展。對於線性代數等知識，本書還配合Python 實驗程式進行講解，使得讀者對數學理論的結果有直觀的認識。

由於作者水準與精力有限，書中難免會有錯誤或不妥當的地方，敬請讀者指正！編輯電子郵件為：zhangtao@ptpress.com.cn。

雷明