Google скрыла ИИ-обзоры с потенциально опасными медицинскими рекомендациями
Google убрала из поисковой выдачи искусственно созданные обзоры для ряда запросов о здоровье. Речь идёт о функции AI Overviews - специальном блоке, который формирует краткий ответ нейросети прямо над обычными результатами поиска. Сервис задумывался как способ быстрее получить нужную информацию, однако в медицинской тематике его рекомендации вызвали серьёзные вопросы у специалистов.
Проблема обнаружилась в ответах на запросы, связанные с анализами крови и показателями работы печени. ИИ приводил усреднённые референтные диапазоны, но не объяснял, что интерпретация результатов зависит от множества факторов. Среди них - возраст пациента, пол, этническая принадлежность, сопутствующие заболевания, принимаемые препараты и особенности конкретной лаборатории.
На первый взгляд подобный ответ может показаться достаточно точным. Однако медицинские показатели нельзя оценивать по одной универсальной шкале. Значение, которое для одного человека окажется допустимым, для другого может указывать на заболевание или требовать дополнительного обследования. Без необходимого контекста пользователь рискует либо напрасно испугаться, либо, наоборот, проигнорировать потенциально опасные симптомы.
Особенно рискованной такая ошибка становится для людей с уже диагностированными заболеваниями печени. Пациент может самостоятельно сравнить свои результаты с приведёнными нейросетью цифрами и решить, что поводов для обращения к врачу нет. В результате необходимая помощь будет отложена, а болезнь может перейти в более тяжёлую стадию.
После того как на проблему обратили внимание, Google удалила AI Overviews для некоторых конкретных формулировок. В частности, речь шла о запросах вроде "какой нормальный диапазон показателей анализа крови на функцию печени". В компании заявили, что система работает в соответствии с внутренними правилами безопасности, а специалисты проводят масштабные улучшения качества ответов.
Тем не менее полностью устранить проблему пока не удалось. Незначительное изменение запроса может снова активировать ИИ-обзор. Например, вместо вопроса о нормальном диапазоне пользователь может написать о "референтных значениях показателей функции печени" - и получить близкую по смыслу, но всё так же недостаточно точную сводку.
Этот случай показывает, что точечное удаление отдельных ответов не заменяет полноценной проверки всей системы. Языковая модель способна распознавать похожие формулировки, но не всегда понимает медицинские нюансы и границы допустимого обобщения. Если опасный ответ появляется только после изменения нескольких слов в запросе, значит, защита построена скорее вокруг отдельных примеров, чем вокруг глубокого анализа содержания.
Представители организаций, занимающихся заболеваниями печени, назвали ситуацию тревожной. По их оценке, медицинская информация требует особой осторожности: даже небольшая неточность может повлиять на решения человека о лечении, обследовании или срочности обращения за помощью.
Главная сложность заключается в самой природе диагностики. Врач оценивает не отдельную цифру, а совокупность данных: жалобы пациента, историю болезни, результаты разных анализов, динамику показателей и возможные внешние причины отклонений. Одинаковый результат может иметь совершенно разное значение при разных обстоятельствах.
На показатели печени, например, способны влиять инфекции, алкоголь, физическая нагрузка, питание, лекарства и хронические заболевания. Иногда отклонение оказывается временным и не требует немедленного лечения, а иногда даже незначительное изменение становится поводом для дополнительной диагностики. Универсальный ответ без уточняющих вопросов не способен надёжно учесть все эти варианты.
Кроме того, референсные интервалы могут различаться между лабораториями из-за применяемого оборудования и методик. Поэтому сравнение результата с цифрами из поискового ответа не заменяет оценку бланка анализа и консультацию специалиста. Важны не только сами значения, но и единицы измерения, дата исследования, предыдущие результаты и клиническая картина.
Пользователям стоит воспринимать AI Overviews исключительно как инструмент для общего ознакомления. Нейросеть может помочь разобраться в медицинских терминах, подготовить список вопросов для врача или объяснить назначение анализа простыми словами. Но она не должна самостоятельно определять диагноз, отменять лечение или решать, нужна ли срочная медицинская помощь.
При поиске информации о здоровье безопаснее обращаться к официальным медицинским материалам, инструкциям лаборатории и рекомендациям лечащего врача. Если анализы заметно отклоняются от нормы или сопровождаются желтизной кожи, сильной слабостью, болью, потемнением мочи и другими тревожными симптомами, откладывать консультацию нельзя.
Ситуация с медицинскими обзорами также подчёркивает более широкую проблему внедрения генеративного ИИ в поисковые системы. Пользователь часто воспринимает ответ, расположенный в верхней части страницы, как проверенную рекомендацию. При этом автоматически сформированный текст может выглядеть убедительно даже тогда, когда в нём пропущены ключевые оговорки.
Для повышения безопасности системе необходимы не только фильтры запрещённых запросов, но и постоянная проверка медицинских ответов экспертами. Важную роль должны играть явные предупреждения о границах применения информации, указание на необходимость консультации специалиста и отказ от конкретных диагностических выводов при недостатке данных.
Пока большие языковые модели остаются полезными помощниками для навигации по информации, но не полноценной заменой врачу. Их сильная сторона - быстрое обобщение больших массивов текста, а слабая - неспособность стабильно учитывать индивидуальные обстоятельства и клинический контекст. Именно поэтому даже внешне грамотный ответ ИИ нельзя считать окончательным медицинским заключением.
