🤖 Как оценить надежность диагнозов LLM, если доступен только API
**FusionBrain представила подход к оценке надежности диагнозов LLM при доступе к модели только через API**
Научный сотрудник лаборатории FusionBrain Глеб Кузьмин рассказал о работе «Uncertainty Guardrails for LLM-Based Medical Diagnostic Systems». Она была представлена на Industry track EMNLP 2026, а на воркшопе UncertaiNLP 2026 получила Spotlight. Исследование посвящено задаче оценки неопределенности ответов модели медицинской диагностики.
Медицинские консультации стали одной из первых областей активного применения LLM, и галлюцинации моделей здесь остаются реальной проблемой, поскольку на кону здоровье людей. Методы оценки неопределенности (uncertainty quantification, UQ) присваивают ответу меру уверенности модели: если она низка, врачу стоит быть внимательнее. В описанной системе ассистент работает с диалогом первичного сбора анамнеза, а GigaChat-2-Max по этому диалогу предлагает до трех диагностических гипотез. Поскольку в одном ответе могут соседствовать хорошо обоснованный диагноз и предположение почти без предпосылок, уверенность оценивается отдельно для каждого диагноза, а не усредняется. Дополнительный механизм «guardrail» присваивает каждому диагнозу уровень уверенности и показывает их врачу; основную LLM переобучать не требуется, хотя сам модуль оценки обучается отдельно. Уверенность здесь характеризует надежность вывода модели по имеющемуся диалогу и соответствует единице минус значение оценки неопределенности, но не является вероятностью заболевания у пациента.
В работе сравнили 16 методов оценки неопределенности. Одна группа использует повторные генерации и сравнение ответов по смыслу, как правило с помощью дополнительной модели для natural language inference (NLI). Другая группа, Text-Based UQ (TB UQ), использует только текст диалога и диагноза и совместима с закрытой моделью-ассистентом. Третья группа опирается на внутренние признаки LLM: вероятности токенов, скрытые состояния и значения attention; в частности, такой подход используется в методе UHead. Однако внутренние признаки GigaChat-2-Max, который ставил диагнозы, недоступны, поэтому наиболее очевидным бейзлайном стало сэмплирование ответов и сравнение их по смыслу.
С этим подходом возникла доменная проблема: «острый панкреатит» и «обострение хронического панкреатита» могут выглядеть похоже, но в задаче соответствуют разным состояниям, а формулировки, различающиеся текстуально, эксперт может считать соответствующими друг другу. Обычная NLI-модель может не учитывать такие различия. Для решения этой проблемы обучили специализированную модель сопоставления диагнозов на основе ModernBERT на экспертной разметке пар диагнозов и решениях ансамбля моделей. После этого универсальные NLI-модели в нескольких методах UQ заменили обученной доменной моделью. В эксперименте с открытой GigaChat-2-Lite это улучшило два из трех проверенных методов на основе семантического сравнения.
Обратить внимание стоит на два ограничения. Улучшение NLI-модели для семантического сравнения повышает качество оценок неопределенности, но такой модификации оказалось недостаточно, чтобы получить лучший результат среди всех подходов. Кроме того, уверенность модели нельзя рассматривать как вероятность заболевания: для этого нужны другие методы и дополнительная калибровка оценок неопределенности.
Категория: ИИ
Теги: #ИИ #AI #Нейросети #Искра