CohortFlow повторяет только шаги, затронутые исправлением пользователя
CohortFlow представляет отбор клинической когорты в виде графа с повторно используемыми результатами. В 100 сконструированных сценариях со 126 исправлениями сократилось ожидание, но значимого улучшения точности разбора условий не было. Клиническая достоверность отбора не проверялась.
Если пользователь меняет критерий отбора посреди работы агента, что именно следует запускать заново? Опубликованный 26 октября CohortFlow исследует этот вопрос на задаче формирования клинических когорт. Работа посвящена проверяемому состоянию задания и выборочному пересчёту, а не замене клинического суждения.
- Преобразовать условия в описание задания
- Сохранить условия и зависимости
- Выделить локальное изменение смысла
- Повторно использовать допустимые результаты и пересчитать затронутые шаги
- Проверить логику и выходные данные
Исправление отдельно от всего задания
Полная генерация условий после каждой правки повторяет вычисления и может изменить требования, которые пользователь не трогал. CohortFlow переводит запрос в типизированное описание: отдельные условия, их логические комбинации и временные отношения. Затем строится сохраняемый граф исполнения. Исправление интерпретируется как локальное изменение смысла, а неизменённые условия сохраняют идентификаторы.
Наличия старого результата недостаточно для повторного использования. Должны совпадать идентификатор узла и его семантический отпечаток, результат должен оставаться доступным, а все родительские узлы — пригодными для повторного использования. Изменение зависимости отменяет результаты затронутых последующих шагов. Интерпретировать правку можно во время работы, но обновления состояния применяются по порядку: старое исправление не должно перезаписывать новое.
Сокращение ожидания не равно росту точности
Авторы сконструировали 100 сценариев со 126 исправлениями на основе критериев CohortX. Оба подхода использовали одну квантованную Qwen3-8B. В 110 состояниях, доступных для оценки у обоих методов, micro-F1 по полям условий составил 77,0% против 76,4%; p=0,493 не подтверждает значимого улучшения. Средняя задержка исправления после завершения задания снизилась с 48,6 до 17,1 секунды, а во время выполнения — с 69,7 до 38,8 секунды. Основной выигрыш связан с устранением повторной работы.
Границы проверки на клинических данных
Отдельный эксперимент с backend на MIMIC использовал зафиксированные вручную корректные спецификации, а не предсказания модели из первого этапа. Все 13 состояний — 10 сценариев и три структурированных исправления — исполнились успешно. Это проверка механизма повторного использования, но не сквозной клинической точности. Первый этап также не включал поиск и рассуждение по клиническим заметкам: его задержки не характеризуют обработку полной истории болезни.
В восьми случаях с необходимостью уточнить неоднозначность локальный подход справился один раз, полная регенерация — четыре. Искусственно составленные траектории и единственная квантованная модель ограничивают обобщение; локальные изменения могут нарушать общую логику. Практический вывод относится к явному хранению состояния и зависимостей. Клиническая пригодность и проверка человеком требуют отдельной оценки.