個人推薦學習資源: 深度學習 & LLM (持續更新中)

Source: Adventures of Hritik

Part 1. 深度學習

我的學習軌跡是，經由統計進入機器學習，在機器學習的過程中又碰到神經網路，也就是當今AI發展的主流框架。當時CNN、RNN 跟 LSTM 都很受矚目，特別是後兩者。

所以這裡我推薦的順序，也會按照這個經驗：從機器學習為主的書中，先淺嚐深度學習，然後再進入更有系統跟深度的內容。我先 cue 自己前一篇機器學習的學習資源，裡面兩本提到深度學習 (神經網路)。

文中第 4 本： Aurélien Geron的《Hands-on Machine Learning with Scikit-Learn, Keras & Tensorflow》

書中帶到 CNN 神經網路 (主要以 tensorflow 操作)。至於其他的 NN 模型講得比較少，畢竟這本主線是機器學習。

第 5 本 游皓麟《機器學習及深度學習真實生活應用》

主線是統計應用跟機器學習，他在複雜回歸模型的章節中，提到了深度神經網路的架構、activation與求解機制，又在時間序列中提到 RNN 跟 LSTM 兩種網路的數理特性與實作，此二種網路模型在資料彼此有相依性的情況下，特別被推崇。

想要基本入門，可先參考以上兩本所提到的章節。

線上課程：Deeplearning.AI的深度學習課程

若要更有系統地學，推這門 Neural Networks and Deep Learning。吳恩達也是其中一名教師，我在機器學習的入門不免俗地也接觸了他的課程，內容扼要精準，能掌握到最重要最根本的概念，準確理解模型運作的原理。

(另外，算bonus吧，這門課還有其中一節內容，就是去年的諾貝爾獎得主Hinton的interview)。

1. Deep Learning

Ian Goodfellow等人的《Deep Learning》國外很多人推，我自己也還沒全部看完，但看得出輪廓是深度學習發展過程中，重要模型和數學概念。除了前面講的神經網路，還有現今在風口上的Encode-Decoder結構──也就是 ChatGPT 的基底網路模型，也有2024年諾貝爾物理獎得主 Hinton 的 Boltzmann Machine。

此外重要的數理應用包含正則化、基本線性代數、反向傳播法求解、機率理論和蒙地卡羅方法等。內容很豐富經典，可能更適合從業人員或相關科系的學生。對於看了或開發過很多應用而想返回來理解原理的人，也很適合。台灣碁峰出版社有出中文翻譯版。

2. Deep Learning with Python

這本書也頗受好評，作者正是 Keras 套件的開發人之一，也帶領Google的團隊，資歷強大。選用這本的原因在於，首先 Keras 使用上更直觀好上手，個人也喜歡。第二是談到較多主流深度學習算法的應用，監督式的CNN、RNN、LSTM，或是非監督式的VAE或GAN都有涵蓋。個人會偏愛編排主題涵蓋較廣的書，特別是實作導向的書籍，可以有系統地了解跟比較這些方法。

然而本書跟一般以實作為主的書一樣，比較少對數學原理的解釋。對於想打下紮實理論基礎的人，我就不推。這本書也有繁體中文版。

3. Deep Learning with Pytorch

這本性質跟前一本雷同，名字也相似，不過套件是 Pytorch。Pytorch 比較彈性，很多需要自定義的東西，學術研究者或前緣的研究單位蠻常用的，但要論開發跟部署模型產品，我感覺跟 Keras 背後的 Tensorflow 是成熟的 (前一本)。另外 Pytorch 可以調用 GPU 運算，也有獨立在 python 之外的 C++ 做運算，運算效能優異。我不常用 Pytorch，但分享這一本來平衡學習內容。

Part 2. LLM (Large Language Model)

這個主題真的太多學習資源，講者多主題更多：prompt engineering, RAG, fine tuning，向量資料庫，現在恐怕又多上AI agent，未來還不知道跑出啥。所以這裡就分享 (1) 我自己入坑 LLM 時有看過 (且有特別存下來) 的資訊，以及 (2) 自己社團中有人分享過的內容。