Quick look

人工智慧的快速發展，特別是高靈活性和可重複使用的模型，預計將為醫學領域帶來全新的能力。這篇發表於nature的文章提出了一種新的醫學AI模式，稱為通用型醫學人工智慧(Generalist Medical AI，GMAI)。GMAI 模型將能夠在極少甚至不依賴特定任務標註數據的情況下，執行多樣化的醫學任務。這些模型通過對大規模、多樣性數據集的自監督學習構建，能靈活解讀多種醫學數據模態的組合，包括影像數據、電子健康紀錄(EHR)、實驗室檢驗結果、基因組數據、圖形數據和醫學文本等。GMAI模型的輸出將更具表達性，例如提供自由文本解釋、語音建議或圖像註解，並展現出高級的醫學推理能力。

基礎模型真的有那麼強大？

基礎模型(Foundation Models)是最新一代的AI模型，基於大規模、多樣化的數據集訓練，並可用於多種下游任務。 與以往專注於單一任務的AI模型不同，基礎模型具備處理多任務的靈活性和通用性，例如回答文本問題、描述圖像以及玩電子遊戲。

隨著數據集規模的增長、模型規模的增大以及模型架構的改進，基礎模型讓學界看到了AI強大的潛能。最著名的例子為於2020年發表的GPT-3，藉由通過上下文學習，僅需要提供一些實例或提示(prompts)，就能針對先前未曾訓練過的資料作出判斷。而另一項關於基礎模型的潛能是，這種模型可以同時接受多種類型的數據模態(如圖像、文本)並生成輸出。另如Google DeepMind於2022年發表的Gato模型能夠進行聊天、描述圖像、玩電子遊戲及控制機器臂，被視為通用代理(Generalist Agent)。

還記得2020 GPT-3第一次公開讓使用者使用時，我在醫院和同事都驚呆了，立馬使用這個強大的聊天機器人來優化我們寫的程式代碼。而現在的發展更為進步、套件更為豐富，已經可以很好的輸出程式碼、生成圖片以及閱讀檔案，只能感嘆AI的迅速發展。

醫學基礎模型的挑戰

目前的醫學AI模型仍以特定任務為主，缺乏靈活性和通用性。例如胸部X光判讀模型只能檢測肺炎，無法完成完整的放射學報告。 此類模型高度依賴人工標註的數據集，且模型的應用範圍受限於訓練數據的標記。在FDA批准的超過500款臨床醫學AI模型中，大多僅針對1或2個任務，由此可見光靠一兩個模型無法解決所有臨床上的問題，而匯集所有的模型也顯得曠日廢時，不切實際。探究其受限的原因，實在是因為醫學數據集在獲取上有一定的難度，且數據高度多樣化，針對一個癌症病人，不僅要收集影像數據，還要收集所有的臨床資料、甚至是基因組資料，而每一種資料的格式都不同，可想而知整合的困難度。

然而，近年基礎模型的發展或許可以顛覆我們對醫學AI的認知。此篇文章的團隊提出GMAI(圖一)，期望這種基礎模型將取代目前的特定任務醫學AI模型，成為通用模型。GMAI具有三大關鍵能力：

1. 動態任務理解：模型只需用簡單的語言描述任務即可執行新問題，無需重新訓練。
2. 多模態輸入輸出：能處理並生成多種數據模態的組合(如影像、文本、實驗室結果等)。
3. 靈活應用於未知問題：GMAI能代表醫學知識，解決未曾明確訓練過的新任務。

目前現況

其實有用過ChatGPT的醫師都知道，他已經可以通過醫師國考了，而目前在輸入進去某疾病的特徵也通常可以做簡單的鑑別診斷，甚至做出正確的判斷，這都是仰賴我們不斷地輸入以及反饋，這個GPT模型才能越來越好。然而即便如此，針對非文本型態的醫學資料，GPT顯然無法做多模態的協同處理來生成事實陳述，也無法在用戶端提供靈活的互動，讓醫師能藉由介面操作腫瘤的識別。 而針對多模態，GMAI可以整合使用者的輸入，將輸入轉換成token，每個token都代表模態的一小部分，如一句話中的一個字，或是一張圖片的一個角落，而整合的token將代表使用者的輸入，並且可以再用transformer的模型結構做處理，讓GMAI可以針對不同種類的輸入做理解。

醫學知識

傳統醫學AI模型在訓練之前，通常缺乏對醫學領域的背景知識，僅依賴輸入數據與目標預測之間的統計關係。這種缺乏背景知識的特性，使得在數據稀缺時，訓練模型完成特定醫學任務更加困難。而GMAI可以通過結構化的知識圖譜(knowledge graphs)，可以推理醫學概念及其之間的關係。基於最新的檢索技術(retrieval-based)，GMAI能從現有資料庫（如文章、影像或過去案例）中獲取相關背景，提供上下文支持。GMAI也可提供解釋性預警，例如：「該患者可能會發展為急性呼吸窘迫綜合症，因其近期因嚴重胸部創傷住院，且儘管吸入氧氣濃度增加，但動脈血氧分壓仍持續下降。」當需要提供治療建議時，GMAI模型甚至可推斷並利用醫學概念與臨床發現之間的因果關係，這對其在臨床中的應用至關重要。

最後一個是解決數據稀缺問題，通過豐富的分子與臨床知識，GMAI能將相關問題的知識轉移到目標任務，進而解決數據有限的任務。一個典型例子是AI在藥物重新定位(drug repurposing)中的應用，可以解決在有限藥物數據庫或是交互作用的資料背景下，提供臨床一個新的方案。

GMAI的終極優勢!?

Controllability

GMAI允許用戶細緻控制其輸出格式，使得複雜的醫學信息更加易於理解。例如：模型可以根據需求重新表述自然語言原本的回應。 也可以調整視覺化內容(如改變視角或標註重要特徵)。能根據需求調整輸出中的專業細節程度，甚至翻譯為多種語言，方便與不同背景或是語言的醫師交流。用戶也需要接受正式培訓，以學習如何有效的查詢和使用GMAI的輸出。

Adaptability

傳統醫學AI模型在技術、環境或人口設定的改變下會有表現不佳的狀況，而GMAI能通過「上下文學習」快速適應。 例如，醫院只需提供少量例子作為提示，就能讓GMAI解讀來自新型X光機器的影像，而傳統模型則需在全新數據集上重新訓練。 另一個有用的應用場景如：GMAI能快速適應新冠病毒的變異株，例如在臨床醫師的提示下，可以將「支氣管和血管周圍浸潤」視為指標，作為「Omicron肺炎」的影像特徵依據，並更新對變異株的認識。

Applicability

GPT-3 作為 AI 基礎模型的成功案例，其發布後幾個月內被應用於超過300個應用程式中。另外如CheXzero可以在不依賴標籤的情況下，檢測胸部X光中的數十種疾病。因此，GMAI將驅動大規模醫學AI模型的開發與應用。這些模型既可直接生成輸出供臨床應用，也可生成中間數值表示作為專業子模型的輸入，用於執行特定任務。然而GMAI的靈活性也可能成為一把雙刃劍，若基礎模型中存在缺陷，這些問題可能會在下游應用中被擴大。

GMAI現階段的挑戰

Validation

要驗證GMAI其實非常困難，因為它具有多功能且能執行用戶首次設定的全新任務，難以預測所有可能的錯誤模式。現有AI模型只需針對特定任務進行驗證(如腦部MRI診斷特定癌症)，但GMAI涉及更多不可預見的任務場景，也有辦法診斷所有腦部腫瘤，所以我們無法針對每一種疾病去設計驗證。因此開發者和監管機構需解釋GMAI的測試範圍與用途。界面應設計警示功能，以防在未知場景下生成不準確的訊息。

Verification

GMAI 處理的輸入與輸出更為複雜（如結合影像、數據、文本），使其正確性更難由單一專業的醫師來做驗證。與傳統模型相比，GMAI 的輸出可能需要多學科團隊(放射科醫師、病理學家、腫瘤學家等)共同判斷。因此可以引入解釋性技術，例如附上文獻支持的連結，幫助臨床醫師更有效地驗證模型的預測。也要確保模型能準確表達不確定性(uncertainty)，避免生成過度自信的結論。

Social bias

先前的醫學AI模型已經證實，在訓練中可能因數據集中於某些患者群體，而產生代表性不足的偏見。而GMAI所需的訓練數據規模和複雜性將使這個偏見的問題更為顯著。因此，模型需經過全面驗證，確保在少數族裔或特定群體中的表現也同樣的好。部署後需持續審核和監督，並鼓勵社群通過獎勵競賽找出潛在偏見或錯誤模式。

Privacy

GMAI可能暴露敏感的患者數據，而惡意用戶可能通過提示攻擊(prompt attacks)繞過限制，提取敏感信息。所以開發者應當強化數據匿名化並限制單一患者的數據收集量。

Scalability

GMAI模型的規模和訓練成本驚人，如GPT-3訓練需數百億標記數據，PaLM模型也耗費數百萬美元購買3000-6000 TPU v4處理晶片。訓練大模型對環境也有巨大影響，每個模型可能產生數百噸的二氧化碳當量。這樣的規模，讓我們不禁思考，到底要多大才夠？最近的一項研究建立了數據集大小與模型大小之間的聯繫，建議數據集的token數量應該是模型參數數量的20倍，以達到最佳的性能。然而，現有的基礎模型即使在較低的token數與參數數比值下也能成功訓練。因此，在開發GMAI模型時，仍然難以確定模型和數據集需要多大，特別是因為所需的規模在很大程度上取決於具體的醫學情境。

GMAI開發需要大規模醫學數據，但與一般基礎模型不同，這些數據需專注於醫學領域，並滿足匿名化和兼容性要求。即便如此，我們依然能利用現有的基礎模型來做前期的訓練，至少會讓GMAI帶有一些基本的功能。最好的例子就是在大量輸入醫學文本進ChatGPT後，ChatGPT就可以回答醫學的問題，甚至通過醫師國考。但我們若是要專注在醫學領域，就必須在取得各部門的同意後集成整合的資料，當這個規模變大的時候，政策以及資料的相容性都會是一大挑戰。有一些方式是該模型的聊天機器人可以集中部署在計算集群上以降低需求，如部署在DALL-E或是GPT-3。但若不是一般的聊天機器人，其他的模型就必須要部署在醫院內部以供醫師隨時運用，這個時候就需要考慮knowledge distillation的技術(圖二)，將大模型壓縮為更小模型，方便本地部署。

結論

GMAI將成為醫療革命的催化劑，它就像一位全能的「數位醫生」，能輕鬆解析多種醫療數據，快速學會新任務，適應不同場景，不論是在傳統診室中輔助醫生診斷，還是在偏遠地區的智能設備上提供健康指導。它不僅能幫助醫生減輕繁瑣的文書負擔，讓他們有更多時間專注於患者，還能打破地域與語言的限制，讓高品質的醫療普及到每一個角落。然而，這樣的「超級醫生」也面臨隱私保護、數據收集和高計算成本等挑戰，但只要跨越這些障礙，GMAI將徹底改變我們看待和實現醫療的方式，讓醫療更有效率與更人性化。