CohortFlow:使用者修改篩選條件後,Agent 只重做受影響的步驟
CohortFlow 把臨床研究族群篩選拆成可重用的執行圖,局部修改條件時保留未受影響的計算。在 100 個構造場景、126 次修改中,主要收益是縮短等待,要求解析準確率沒有顯著提升;實驗也未驗證臨床研究族群的實際有效性。
使用者讓 Agent 篩選一組研究對象,做到一半又調整納入條件,系統應該從哪裡重來?10 月 26 日公開的 CohortFlow 研究把這個問題落到臨床研究族群整理上:讓修改只影響必要的計算,同時留下可檢查的任務狀態。它討論的是工作流程的可靠性與效率,並不意味著已經能替代臨床判斷。
- 篩選要求整理為任務描述
- 儲存條件及其依賴關係
- 將使用者修改解析為局部變化
- 保留有效結果,重算受影響步驟
- 核對邏輯與輸出
把一次修改與整項任務分開
傳統做法往往讓模型重新生成整份篩選要求,再從頭執行。這樣不僅耗時,還可能連沒有修改的條件也一起改掉。CohortFlow 先把自然語言要求整理為帶型別的任務描述,記錄每項條件、條件之間的邏輯關係和時間關係,再編譯成持久儲存的執行圖。使用者新增或修改條件時,模型只解釋這部分語義變化,原有條件保留穩定標識。
執行圖決定哪些結果仍能使用:節點的身份和語義指紋必須保持不變,已有結果仍可取得,而且上游依賴也都可重用。只要其中一項發生變化,相應節點及受它影響的後續步驟就要重算。修改可以在任務執行期間被解釋,但狀態更新按先後順序提交,避免較舊的修改覆蓋較新的要求。
等待明顯縮短,準確率沒有顯著領先
作者從 CohortX 的臨床試驗條件構造了 100 個場景、126 次修改,使用同一款量化 Qwen3-8B 比較局部修正與整體重生成。在雙方都可評分的 110 個狀態中,要求欄位的 micro-F1 為 77.0% 和 76.4%;差異檢驗 p=0.493,不能據此宣稱解析能力提高。論文報告任務完成後的修改平均等待從 48.6 秒降至 17.1 秒,執行中的修改從 69.7 秒降至 38.8 秒,優勢主要在少做重複工作。
執行成功不等於臨床結果正確
另一個 MIMIC 後端實驗使用人工固定的有效任務描述,而不是前一階段模型預測的結果。10 個場景加 3 次結構化修改形成的 13 個狀態都能執行,說明重用與重算機制可以落到後端,但不構成端到端臨床準確率驗證。第一階段還排除了臨床筆記的檢索與推理工作,因此不能把節省的時間直接推廣到完整病歷處理。
系統也有明確短板:在僅有 8 個需要澄清歧義的案例中,局部修正成功 1 次,整體重生成成功 4 次。場景來自構造且只測試一款量化小模型,局部修改仍可能破壞整體邏輯。對工程設計而言,這項研究提供了儲存狀態、追蹤依賴和檢查失效範圍的辦法;對具體醫療應用,仍需要獨立的臨床有效性評估和人工核對。