ИИ ставит диагноз

Исследователи из Microsoft разработали модель ИИ, которая ставит диагноз поэтапно: собирает сведения о пациенте, запрашивает обследования и пересматривает предположения по мере поступления результатов. Интересно, что по результатам исследования эта модель значительно превзошла дипломированных врачей по точности постановки диагноза.
Исследователи Microsoft разработали систему, которая ставит диагноз поэтапно: собирает сведения о пациенте, запрашивает обследования и пересматривает предположения по мере поступления результатов. В эксперименте она заметно превзошла врачей, с которыми её сравнивали. Работа посвящена тому, насколько хорошо ИИ справляется именно с процессом диагностического поиска.
Для проверки создали специальную испытательную среду SDBench. В начале участник получает только краткое описание случая. Дальше нужно самостоятельно решать, какие вопросы задать, какие анализы назначить и когда информации уже достаточно для окончательного диагноза. Оценивается и правильность ответа, и расчётная стоимость обследований. Данные взяли из опубликованных клинических разборов и обезличенных больничных историй. Отдельная система выдаёт сведения по запросу, а другая сверяет итоговый диагноз с эталонным. Если запрошенного результата в истории нет, программа может сформировать правдоподобный синтетический ответ - это тоже особенность такой симуляции.
Сама диагностическая система, MAI-DxO, имитирует консилиум: виртуальные врачи выдвигают версии, оспаривают предположения друг друга и выбирают следующие обследования с учётом их полезности и стоимости. На сложных случаях из "The New England Journal of Medicine" она показала около 83% правильных диагнозов, тогда как врачи с доступом к справочникам и интернету - около 36%, а без этих ресурсов - 22%*. На более типичных случаях из отделения неотложной помощи результат составил 80% против 47%.
Систему также можно настроить на экономию обследований. В одном из таких режимов на сложных случаях она сохранила точность примерно 81%, существенно снизив расчётные затраты. То есть авторы проверяли не только способность найти диагноз, но и умение выбрать достаточно короткий и экономичный путь к нему.
До доказательства превосходства в реальной больнице, однако, ещё далеко. Здесь участники работали с подготовленными историями заболеваний через текстовую систему. Само устройство теста позволяет оценивать последовательность рассуждений, но не показывает, как ИИ справится с живым пациентом и повлияет на результат лечения. Microsoft планирует следующий этап совместно с медицинским центром Beth Israel Deaconess в Бостоне: пациенты будут непосредственно взаимодействовать с системой, а её работу сравнят с независимыми оценками врачей. Именно такая проверка должна показать, насколько впечатляющие результаты симуляции сохранятся на практике.
Нужно было сделать нормально работающий harness и правильных агентов промпты.
Кофнигурацию всего, иными словами
А так для диагностики ИИ уже не менее года и так лучше большинства врачей.
Последнее проверил лично на себе: много лет имею определенную болячку, и несколько врачей делали всякие анализы и выписывали разные лекарства - ничего не помогало, и никто не понимал что это. Наверное просто не повезло с врачами, но их было несколько очень разных...
Я прошлой осенью условно плюнул на них, очень вдумчиво написал промпт, по типу упомянутого здесь ниже - туда не ходи, сюда ходи, здесь читай, здесь рыбу заворачивали, никогда не давай совета если не проверил надежные источники, задавай вопросы всегда когда сомневаешься, требуй нужные анализы чтобы подтвердить, и т.п - на страницу плотного текста промпт, наверное можно было и ещё улучшить и оптимизировать, но мне в проду запускать не нужно, и так сошло. 😄
После чего, с этим промтом, думающей модели описал я свою проблему, и после серии вопросов-ответов (т.к. я сразу хоть и рассказал много, но о многом и не подумал даже рассказывать, а ИИ сообразил и спросил) - он мне сказал "да у тебя батенька может быть вот ЭТО", нужен такой-то анализ" - после чего я при очередной встрече с доктором и сказал что я здесь читал в интернете, может сделаем? - доктор сказал - почему бы и нет, давай - анализ оказался положительный...
С систем диагностики начиналось развитие ИИ лет 60 назад. Тогда это называлось "экспертные системы", а набор правил и дерево вариантов - базой знаний. Но не взлетело, потому что не было интернета, в вручную формулировать правила с нужными весами было сложно.
У меня дипломная работа (мехмат) была - экспертная система по диагностике болезней прудовых рыб. Там из математики была только формула Байеса
В медицине как-то проще. И врачей нужно будет меньше.
Зато тебе есть на кого спихнуть ответственность, ибо решения принимал не ты.
Но тем не менее, что в медицине, что в софте он уже лучше, не знаю, 95 процентов кожаных, потому как у них те же проблемы (и даже больше).
P.s. " его отправили" в моем первом посте - это пациента, а не отчёт, как можно было подумать что это отчёт, я хз, представляю себе как я профессору с 40 летним опытом отправляю отчёт от Клода и он такой, всё, будем по нему лечить)
ИМХО ИИ имеет преимущество в диагностике редких экзотических заболеваний, о которых обычный врач общей практики не слышал или забыл. Приходит больной в Мухосранске, а у него лихорадка цуцугамуши. Возможно, в сопоставлении многих анализов и изменения показателей.
Но у человека есть преимущества. Он понимает, когда больной врет или симулирует. И он просто видит этого больного.
Читал про такую историю. До революции к известному врачу-диагносту одна женщина записала на прием ее дочь, которой никак не ставили правильного диагноза. Мать и дочь приехали на поезде, тот опоздал и они не успели к назначенному времени и пришли позже. Врач выгнал их за опоздание, ругал, никакого приема и осмотра. Они в теплой одежде отравились восвояси. На лестнице услышали рык врача: "А девчонке бандаж носить надо, у нее почка опущена!"
Прав ли он был или нет, написано не было.
- На что жалуетесь?
- Позвоночник болит, от поясницы до лопаток.
- Снимайте штаны.
- У меня спина...
- Снимайте, снимайте.
Вместо следующего кабинета просто пошел домой. Возможно, что в розыске до сих пор.
Спроси ИИ - он тебе 50-100 заболеваний выкатит. От ОРВИ до африканской лихорадки. Или рак интоксикацию дает.
И как понять? Делать анализы на все? Это можно, чтоб наверняка. Только дорого. Врач идёт от простого к сложному. И хорошо, если успеет.
А как ИИ объяснить, что не надо делать дорогие анализы даже если очень хочется? Да вы и сами, наверное, не захотите платить за ненужные и дорогие анализы.
Пришёл человек в больницу с жалобой, что у него болит локоть.
Доктор его отправляет сдавать анализ мочи.
Тот возмущенно: — Доктор, какая моча, локоть болит!
Доктор говорит: — Пришёл лечиться, сказали сдавать, значит сдавай, а не пререкайся.
Ну мужик озлобленный приходит домой, взял мочи у жены, у дочки, у тёщи, у кошки, воды с батареи отопления добавил и тормозной жидкости с машины, потом пошел и сдал всю эту смесь на анализы.
Приходит за результатом, доктор ему и говорит: — Кошка у вас абсолютно здорова, за неё можете не переживать.
Батареям ремонт ещё не скоро понадобится.
У тёщи развивается серьёзная болезнь, надо срочно делать операцию.
За дочь не беспокойся, организм молодой сильный, несмотря на тринадцатилетний возраст, плод сформировался удачно, будет двойня.
Чего не скажешь о жене, у жены твоей сифилис, она тайно от тебя лечится, тебя к себе не подпускает, вот ты в сортире и мастурбируешьь, а там тесно, локтем бьёшься, вот локоть и болит.
Мужик встает и в офигении уходит. Доктор кричит ему вслед: — Ты еще тормозуху смени и левый задний тормозной цилиндр течет!
«А на неделе хозяйка велела мне почистить селедку, а я начал с хвоста, а она взяла селедку и ейной мордой начала меня в харю тыкать»- это хороший стимул и запоминается сразу как селёдку чистить.
Через день, когда гипс уже почти отвалился сам, пробили, что там. Какой-то левый софт, для которого пришлось ставить приблуду на линукс. Запустили, открыли рентген. На снимке обведена кваратиком маленькая пылинка в месте, которое даже не болело и не опухло. C мета-данными "диагноз сделан при помощи ИИ: вероятно, это трещина, но спросите у специалиста". И одна из кнопок и была "ИИ". Увидев этот "диагноз", я снял гипс и выкинул: гипс меня и так уже прилично раздражал. Все ОК, есс-сно оказалось, никаких переломов.
Ребёнок катался на борде, упал. Поехали в травму, там сделали снимок, говорят - ок, перелома нет. Попросил посмотреть, и у меня возникло некоторое непонимание, ибо снимок был правой руки, а болела левая. Уточнил у врача - что за фигня. В итоге сделали снимок левой, да перелом, гипс и все прочее. И никакого ИИ, обычный врач.
И через пол часа я уже считал, один, два, три...
Прикол в том, чтобы как раз избежать излишних анализов и исследований. А как ты ИИ объяснишь не какие анализы надо делать, а какие не надо?
Если бы бесплатно можно было любые делать, людей бы лечили раз в сто лучше.
А тут приходит человек, жалуется на головную боль. Там дальше можно миллион анализов назначить. От похмелья, до простуды, до опухоли мозга. А может он приехал из Африки и у него Эбола.
Напиши промпт. Ага.
Только первичный прием и осмотр человеком.
ИИ-идиосинкразию подозреваю я в ответе твоём, юный падаван. Рекомендую обратиться к профильному психологу. На нашем сервере как раз установили новую версию.
Как, нравицца тебе с роботами по телефону беседовать? Все устраивает? В чатиках тоже висишь с "ИИ ассистентами", очень много помогли (помимо обычного поиска по сайту или гуглом)?
Ну, вот, маммолога ИИ заменит?
Потому что вообще по анализам любой дурак может диагноз поставить. Цель то как раз уменьшить анализы. Бабки, бабки. 💵
Кстати, напоминаешь мне моего дядю. Физик, умнейший человек, но вот это «купил штаны 20 лет назад, а они как новые»…
Если речь о том, что «все врут», то на то есть масса объяснений, причем зачастую «ложь» - это не когда врачу сознательно наврали, опустим это. А есть масса случаев, когда врачу что-то не сказали. И это может случиться по куче причин, помимо сознательного утаивания - забыл, не посчитал важным, привык и не считает это особенным внимания доктора, не связывает симптом с врачом, у которого на приеме сейчас, посчитал, что доктор уже знает, не сказал, потому что его не спросили, да просто не умеет описывать симптомы, не знает как рассказать, стесняется и ид…
Пациент может быть неточен в описании симптомов, умалчивать или откровенно лгать. Ну так ИИ назначит реальную диагностику и анализы на основании его слов и прояснит вопрос.
Я, как врач, постоянно в работе пользуюсь двумя ИИ: обычным ChatGPT и специализированным медицинским Amboss.
Самое главное, что недоступно ни одному врачу, ИИ знает все современные рекомендации по всем областям медицины сразу, все редкие заболевания. Да, за ним приходится проверять, но в плане постановки диагноза, это невероятно крутая штука. В ближайшем будущем врачу останется собирать анамнез под контролем ИИ, проводить обследование и вся работа руками. БОльшую часть интеллектуальной деятельности возьмёт на себя компьютер.
IASLC / актуальную систему TNM для рака лёгкого;
AJCC / UICC;
NCCN;
ESMO;
ASCO;
WHO Classification of Thoracic Tumours;
Т.е. со случаями, когда ИИ игнорировал инструкции в промпте (который, по твоим словам, в 10 раз длиннее, чем то, что ты привел) ты ни разу не встречался? И сверял каждый источник из 100 "буллет пойнтс", чтобы удостовериться, что источник не сгаллюцинировал Клод?
Если в протоколе Клод написал миллиграммы, а нужно было микрограммы (или миллилитры, а нужно микролитры), и пациентке влили в 1000 раз больше, с соответствующими последствиями -- кто будет виноват? Ты? Клод? Беларусский врач, который за деньги не заметил ошибки и влил? Правительство Беларуси, которое на это все закрывает глаза? Или напишут: "она все равно померла бы без операции, какая разница"?
Айтишники решили, что будут биохакерами. Хорошо бы хоть на себе экспериментировали -- как Джобс, отказавшийся от операции во-время. Нонет, экcперименты на других проводят. И потом гордо пишут, мол, мы взломали матрицу.
Не придумывай отсутствующие сведения. Не делай выводов на основании предположений, если они не подтверждены документами. Если данных недостаточно, прямо укажи, каких именно данных не хватает и насколько это ограничивает вывод.
ОСОБОЕ ТРЕБОВАНИЕ:
Используй актуальную медицинскую литературу и клинические рекомендации на дату проведения анализа. Не полагайся только на встроенные знания модели.
При наличии доступа к интернету/научным базам обязательно проверяй актуальные версии:
IASLC / актуальную систему TNM для рака лёгкого;
AJCC / UICC;
NCCN;
ESMO;
ASCO;
WHO Classification of Thoracic Tumours;
официальные документы FDA и EMA по зарегистрированным лекарственным препаратам и показаниям;
ClinicalTrials.gov и другие официальные реестры клинических исследований;
крупные рецензируемые исследования и метаанализы;
при необходимости — национальные онкологические рекомендации страны, где находится пациент.
Для каждого существенного лечебного вывода указывай источник, год/дату публикации или обновления, DOI/PMID или прямую ссылку, когда это возможно.
Не называй экспериментальную терапию стандартом лечения. Отдельно разделяй:
стандартную терапию с подтверждённой доказательной базой;
одобренную терапию для определённого показания;
терапию, применяемую off-label;
клинические исследования;
экспериментальные подходы.
И это только 10я часть промта. Если вы думаете, что вам поставят нормальный диагноз по запросу вот тебе анализы, как меня лечить, то это так не работает.
Но если таки подмешается, потом извинится же, и все ОК.
- но это кассовый пациент.
Пробуем лечение антибиотиками. На дому.
- Родственники принесли деньги,
Оперируем!
Это, конечно, будущее.
Модели очень хороши в медицинских вопросах, годятся для всяких Африк, в местах, где врачей и в глаза не видели и было бы гуманно не запрещать, как сейчас принято в Европах, а всячески поощрять это дело.