Duke AI PM 學習筆記 (三)：從建模流程到演算法選型，構建 AI 產品的技術底座

📚Coursera: https://www.coursera.org/specializations/ai-product-management-duke

這份筆記結合了我的個人學習心得與課程教材的核心概念。在上一篇聊完如何衡量成功指標後，這一篇更有系統地帶大家掌握 ML 的核心機制，以及在實務上如何透過標準化的建模流程與演算法要點，來構建 AI 產品：

一、 機器學習的核心機制：不只是指令，而是學習

• 核心定義：機器學習（ML）的核心在於讓電腦具備「無需顯式編程即可學習的能力」。不同於傳統軟體需要明確的明確指令（If-Else），ML 是透過展示大量數據範例，讓模型自行發現解決問題的方法。
• 驅動因素：目前的 ML 爆發主要由數據爆炸（物聯網與傳感器進步）以及計算能力提升（GPU 與深度學習）所驅動。

二、 CRISP-DM：PM 的標準導航流程

為了管理 ML 專案中的不確定性，應遵循 CRISP-DM 流程，這是一個高度迭代的循環：

• 商業理解：定義問題、識別影響因素，並先行定義結果指標（Outcome）。
• 數據理解與準備：進行特徵工程、特徵選擇與數據質量評估。
• 建模：選擇適合的演算法、設定超參數（Hyperparameters）與損失函數（Loss function）。
• 評估：衡量輸出指標（Output）（如 MSE、準確率）與模型的可解釋性。
• 部署：將模型整合進生產環境。

三、 指標與誤差管理：預防失敗的關鍵

1. 指標區分：身為 PM，必須區分兩類指標以對齊業務價值：

• 結果指標 (Outcome Metrics)：期望的商業影響（如增加收入或節省時間），需在技術開發前定義。
• 輸出指標 (Output Metrics)：衡量技術表現（如 F1 分數或均方誤差），用於模型比較與部署後的效能追蹤。

2. 誤差來源：誤差來源分析對除錯至關重要，包含問題定義錯誤、數據質與量不足、特徵選擇不當、模型擬合度（Model fit）問題以及固有誤差。

3. PM 權衡：PM 需在此過程中理解並權衡偏差與變異（Bias-Variance Tradeoff）。

四、 演算法選型：從簡單到複雜

在選擇 ML 任務時，主要分為以下幾類：

1. 監督式學習 (Supervised Learning)：需要目標數據（Target Data）的演算法。利用帶有「標籤」的歷史資料進行訓練，從中找出輸入特徵與正確答案之間的規律，進而對未知的資料進行預測或分類。

• 分類 (Classification)：預測類別（如肺炎偵測、垃圾郵件過濾）。
• 迴歸 (Regression)：預測數值（如房價、產品需求）。

2. 非監督式學習 (Unsupervised Learning)：使用未標註的原始資料進行訓練，模型沒有預先設定的目標輸出或答案。演算法需透過探索資料，找出隱藏的結構、模式、趨勢或關聯性。

3. 強化學習 (Reinforcement Learning)：模仿人類「從錯誤中學習」的試誤過程的演算法。透過與動態環境不斷互動，執行動作並獲得回饋獎勵機制，藉此學習達成特定目標的策略。

4. 實務策略與權衡：

• 起步起點：線性模型（如線性迴歸與邏輯迴歸）是建模的良好起點。
• 正規化 (Regularization)：透過 Lasso 或 Ridge 簡化模型，防止過擬合（Overfitting）。
• 選型思維：除了效能，還必須同時考慮可解釋性（錯誤代價高時尤為重要）與計算成本。

五、 深度學習：處理非結構化數據的利器

1. 關鍵特徵：模擬人類神經元結構，擅長處理非結構化數據（影像、文本）。

2. 常見架構：

• 卷積神經網路 (CNN)：利用滑動過濾器（Filter）學習圖像模式，擅長影像識別。
• 自然語言處理 (NLP)：從早期詞袋模型（Bag of Words）進步到詞嵌入 (Word Embeddings) 與當前的 Transformer（利用注意力機制處理文本序列）。

3. 遷移學習 (Transfer Learning)：利用預訓練模型（如 ImageNet），在較小的特定數據集上進行微調（Fine-tuning），以較低成本快速構建高效模型。

六、 進階落地考量：聯邦學習 (Federated Learning)

1. 痛點背景：在實際落地時，敏感數據（如醫療病歷、金融數據）因隱私法規限制，往往難以集中上傳。

2. 核心邏輯：採「數據不動，模型動」的分散式架構。

3. 運作流程：

• 數據保留在本地端（如各家醫院、各台手機），直接在本地進行模型訓練。
• 訓練完成後，只將加密後的模型參數（權重更新）上傳至中央伺服器進行聚合。

4. 產品價值：在確保各方數據隱私不外洩的前提下，破解「數據孤島」痛點，匯聚群體數據智慧以提升模型泛化能力。

💡結語：PM 視角

掌握 ML 基礎並不代表要撰寫代碼，而是要理解模型訓練的底層邏輯（如梯度下降與反向傳播），並在效能、數據隱私、計算成本與可解釋性之間做出明智的產品決策。

希望以上的分享有幫助到您！如果喜歡也請多多拍手鼓勵我持續撰寫文章，謝謝😊