科大團隊研發「通用—專科協作」AI框架　兼顧診斷準確度與低成本

科大研究團隊成功開發一套創新的人工智能「通用—專科協作」(GSCo)框架，實現醫學通用基礎模型與專科模型的高效協作，不只在醫學影像診斷、視覺問答及放射報告生成等多項任務的表現，顯著優於單獨運作的通用或專科模型，更能大幅降低訓練醫學模型，以適配全新臨床任務的研發成本。研究成果已於國際頂尖期刊《自然—生物醫學工程》發表，並以「透過通用—專才協作實現醫學人工智能的通用化」為題。研究團隊表示，成果有望加速醫學基礎模型應用在日常臨床工作。

是次研究由香港科技大學計算機科學及工程學系、化學及生物工程學系助理教授兼醫工交叉聯合創新中心主任陳浩帶領的團隊，聯同哈佛醫學院、威爾康奈爾醫學院、香港中文大學、香港大學及中山大學等機構合作開展。科大表示，醫療AI模型長期面臨兩難，通用基礎模型雖靈活但單一診斷不夠精準，而專科模型雖專業但面對新任務或環境需重新訓練，且無法以自然語言推理。此外，重複訓練通用模型成本高昂，且受限於病人私隱數據不能離院。而團隊亦因此展開研究。

僅需單張消費級顯示卡

該框架建基於陳浩團隊開發的開源醫學通用模型MedDr，利用多元醫學影像模態和超過二百萬個樣本進行深度訓練，並同步構建了一組僅需單張消費級顯示卡（GPU）即可完成訓練的輕量級專科模型。在雙向協作過程中，專科模型負責比對相似的過往病例並提供診斷預測，而MedDr則擔當「核心決策者」，將專科模型提供的證據與自身醫學知識完美整合，從而作出最終診斷結果。

表現顯著優於現有醫學通用模型

科大續指，為驗證GSCo表現，研究團隊在32個公開數據集、共約260,000張醫學影像上進行全面評測，涵蓋醫學影像診斷、視覺問答及放射報告生成等多項任務。結果顯示，MedDr的表現顯著優於RadFM、LLaVA-Med 及 Med-Flamingo 等現有醫學通用模型，而GSCo在所有內部及外部基準測試中更取得整體排名第一，表現優勝於十個最先進的視覺基礎模型。

其中在一項皮膚病變測試中，GSCo的診斷表現高達0.8420分，優於通用模型MedDr的0.7545分及專科模型最佳成績（0.8292分）。在胸部X光報告生成評估中，多數執業放射科醫生亦認同GSCo的報告品質優於R2GenGPT。此外，調整GSCo執行新任務的研發成本較微調通用模型大減近百倍，專科模型更可在醫院內部訓練以保障病人私隱。

陳浩：進一步擴展至三維影像模態及醫學影像領域

論文通訊作者陳浩表示，醫學 AI通用和專科模型各有所長，而GSCo的核心價值正是讓兩個獨立運作的模型能以『協作者』身分並肩運作，並由通用模型擔任總決策者，將專科模型的專家建議與模型自身廣博的醫學知識完美整合。團隊期望，這一嶄新框架能為醫學基礎模型融入臨床工作流程，提供更切實可行的路徑，尤其是讓AI計算資源有限的環境，也能共享AI醫療成果。

展望未來，研究團隊計劃將MedDr進一步擴展至電腦斷層掃描、磁力共振成像等三維影像模態及醫學影像領域。同時，團隊將探索更先進的多模態及基於圖結構的檢索策略，並研究通用與專科模型之間更多元化的協作形式，例如引入測試時運算，以賦予模型深度思考能力，進一步提升診斷結果的準確度。

MedDr開源通用模型和GSCo框架已公開發布，以推動全球科研及臨床應用，詳情請瀏覽：https://github.com/sunanhe/MedDr。