Duke AI PM 學習筆記 (二)：從成效衡量到醫療案例，如何定義 AI 產品的成功指標

📚 Coursera: https://www.coursera.org/specializations/ai-product-management-duke

這份筆記整理結合了我的個人筆記與課程教材中的核心概念，期望能有效幫助大家更有系統化地掌握 2大 Machine Learning Model 上線成效的衡量指標 Metric Performance： 1. 結果指標 (Outcome Metric) 2. 輸出指標 (Output Metric)

在機器學習專案中衡量效能，區分：結果指標 (Outcome Metric) 與 輸出指標 (Output Metric)。

效能衡量指標 (Metric Performance)

1. 結果指標 (Outcome Metric)：衡量期望的商業成效，如增加收入或節省時間，這些指標會於評估模型前，優先定義好。透過像是採取如下方式：A/B 測試及 Beta 測試（與早期用戶合作）來評估是否達成商業目標。

2. 輸出指標 (Output Metric)：衡量模型的技術表現，如準確率或均方誤差，會在訓練、測試及部署階段持續追蹤。主要用於ML模型比較、參數調整及部署後的效能監控。

補充： 其他ML Model 效能以外的重要考量 1. 可解釋性 (Explainability / Interpretability)：有助於除錯及發現偏差，尤其在錯誤代價高的專案中非常重要。 2. 成本 (Data and computational cost)：包括資料取得、儲存及模型訓練與模型推論的計算資源成本。

以實際案例為例探討 (開放性討論題)：

假設我們正在建立一個機器學習模型，用於從胸部 X 光片中檢測肺炎的肺炎檢測系統。此模型將應用於放射科醫師資源匱乏的農村地區，作為分診機制，幫助放射科醫師更快解讀和處理患者，將注意力集中在最有可能患有肺炎的患者身上。在此情境中，我們可以用哪些結果指標衡量機器學習工作的成效？又該如何選擇常見的輸出指標來評估模型表現？

Suppose we are building a ML model to detect pneumonia from chest x-ray images. The model is to be used in rural areas that are underserved by radiologists as a triage mechanism to help them read and respond to patients more quickly by focusing their attention on the patients most likely to have pneumonia. What might we use as an "outcome" metric for our ML effort in this case? What might we want to use as an "output" metric?

針對此肺炎檢測系統，區分 結果指標 (Outcome Metrics) 與輸出指標 (Output Metrics)，以確保 AI 產品能真正解決醫療問題。

依據課程教材與案例分析：

• 分類任務的定義 從 X 光影像識別肺炎，屬於監督式學習中的分類 (Classification) 任務，目標是預測影像屬於「肺炎 (陽性)」或「健康 (陰性)」的類別。
• 結果指標 (Outcome Metrics)：現實世界/實際業務層面的影響 結果指標是指解決方案對組織或病患產生的實際業務或臨床影響，通常以期望的商業效益 (如節省時間或成本) 來表述，不含技術性的模型性能。 例如： • 分診效率：縮短病患從照 X 光到獲得放射科醫師診斷與治療的平均時間。 • 醫療成效：由於早期發現，降低了肺炎相關的併發症發生率或死亡率。 • 流程優化：增加被及時審核的肺炎病例百分比，或正確優先處理的高風險病患數量。
• 輸出指標 (Output Metrics)：模型性能衡量 輸出指標是在定義好結果指標後才決定的技術目標，用來衡量模型在技術層面的表現。 例如： • 召回率 (Recall / Sensitivity)：衡量模型在所有實際患有肺炎的病例中，正確識別出多少比例。在分診情境下，漏診的代價通常高於誤報，因此召回率尤其重要。補充衡量數據： 漏掉病例 (偽陰性)、誤報 (偽陽性) 。 • F1-Score：用來平衡精確率 (Precision) 與召回率 (Recall / Sensitivity)。 當資料存在類別不平衡時 (例如大多數人都是健康的，資料多數為陰性)，單看準確率 (Accuracy) 容易失真，可能會產生誤導。此時 F1-score 是更穩健的輸出指標、更具參考價值。 • AUROC 與 PR-AUC： AUROC：為ROC 曲線下的面積 (AUROC) ，提供了模型在不同分類閾值下的整體性能評估，即 AUROC 可評估模型在不同閾值下的整體表現。 PR-AUC：在處理高不平衡數據時，PR-AUC 更能反映模型對陽性病例的辨識能力。由於 PR 曲線 (Precision-Recall Curve) 不考慮真陰性 (True Negatives)，能更專注於模型對陽性病例的處理能力。

PM 觀點

以產品經理的視角來看，最重要的不是一開始就單純評估模型表現，而是先釐清這個 AI 產品真正要解決的問題與痛點，以及它希望為使用者或客戶帶來什麼實際影響。

只有先把這些結果目標定義清楚，後續才能更合理地對應出合適的輸出指標，避免讓技術指標和實際需求脫節。

以肺炎檢測系統為例，比起直接談論模型準確率（例如：模型召回率需達到 95% 以上），更實際重要的是：系統能否幫助病患更快速地被檢測出來，並縮短診斷與治療的時間（例如：確保病患在 n 小時內獲得治療）。

💡先定義結果指標，再衡量對應的輸出指標，才更能真正反映產品價值。

希望以上的分享有幫助到您！如果喜歡也請多多拍手鼓勵我持續撰寫文章，謝謝😊