Risks and limitations of using artificial intelligence in medicine

Full Text

Введение

Искусственный интеллект (ИИ) стремительно трансформирует сферу здравоохранения, открывая новые возможности для диагностики, лечения и профилактики заболеваний. В широком смысле ИИ представляет собой совокупность компьютерных технологий, способных имитировать когнитивные функции человека (обучение, рассуждение, решение проблем, восприятие, поиск и принятие решений) и достигать результатов, сопоставимых с человеческим интеллектом, тогда как в узком смысле ИИ — это специализированные системы, предназначенные для решения конкретных задач, таких как анализ медицинских изображений или прогнозирование эффективности и безопасности лекарственных средств и их комбинаций [1, 2]. В качестве базового определения повествования в статье принимается именно широкое определение ИИ как машинной системы, способной по заданным целям выносить предсказания, рекомендации или решения, влияющие на реальные или виртуальные среды, поскольку оно наиболее полно отражает возможности современных ИИ-систем в медицине и служит универсальной основой для обсуждения их применения и нормативного регулирования. Внедрение ИИ должно способствовать повышению качества медицинской помощи, оптимизации рабочих процессов и высвобождению времени медицинского персонала для контактной работы с пациентами.

Искусственный интеллект был основан как академическая дисциплина в 1956 г. [3], и на протяжении своей истории эта область переживала несколько циклов оптимизма, за которыми следовали периоды сомнений и разочарований. Финансирование и интерес к ИИ значительно возросли после 2012 г., когда были разработаны методы глубокого машинного обучения [4]. Этот рост ускорился после 2017 г. с появлением архитектуры трансформеров (моделей сверточных нейронных сетей, включающих процессы кодирования и декодирования) [5]. В 2020-х годах в ИИ начали вкладывать миллиарды долларов, стимулируя стремительный прогресс, известный как бум ИИ. Появление генеративного ИИ с его способностью создавать и изменять контент привело к ряду непредвиденных последствий, вызывая опасения по поводу рисков, связанных с ИИ, и к дискуссиям о политике регулирования для обеспечения безопасности при сохранении преимуществ, которые можно получить с помощью технологий ИИ.

Сегодня ИИ находит применение в самых разных областях медицины — от компьютерного конструирования новых лекарственных препаратов до быстрой, точной диагностики и персонализированной терапии. Современные системы ИИ демонстрируют помощь в ускорении интерпретации медицинской визуализации, некоторые из них уже получили официальное одобрение соответствующих регулирующих органов. Например, программа IDx-DR автоматически выявляет признаки диабетической ретинопатии на снимках глазного дна, а мобильное приложение Woebot помогает в борьбе с депрессией [5–7].

В России к 2025 г. официально зарегистрировано более 20 медицинских изделий с ИИ, одобренных Росздравнадзором и соответствующих требованиям ГОСТ Р 59921.1-2022 и приказа Минздрава России № 686н [8]. Среди них — системы автоматического выявления патологий на рентген- и КТ-изображениях (Celsus, Botkin.AI), решения для анализа маммограмм, а также инструменты поддержки диагностики инсульта и онкологии (СберМедИИ, Webiomed, Care Mentor AI). В 2024 г. эти алгоритмы обработали порядка 753 тыс. маммографических снимков, а к концу 2025 г. планируется расширить их применение на флюорографию и КТ легких. Все продукты прошли валидацию на десятках тысяч исследований и получили регистрацию как изделия III класса риска. Наибольший эффект продемонстрировал «Московский эксперимент» по автономной сортировке профилактических рентгенологических исследований: из 575 549 сканов 54,8% классифицировалось как «норма» без участия рентгенолога, доля клинически значимых ошибок составила всего 0,05%, а экономия средств достигла 43,7% [8]. По итогам эксперимента предложена модель двойного автоматизированного чтения, которая позволяет практически полностью исключить диагностические пропуски и повысить эффективность профилактических обследований.

В статье рассматриваются актуальные проблемы и ограничения применения ИИ в медицине. Особое внимание уделяется вопросам безопасности, точности диагностики и этическим аспектам на основе уже появившегося клинического опыта и последних научных исследованиях в этой области. Литературный поиск осуществлялся в базах данных научных публикаций eLibrary, PubMed и Scopus. Поисковый запрос включал такие термины, как «искусственный интеллект», «машинное обучение», «медицина», «здравоохранение», «компьютерные технологии», «этика», «биоэтика», а также их англоязычные эквиваленты. Критерии отбора источников: публикации 2015–2025 гг., язык — русский и английский, тип — научно-исследовательские статьи и обзоры.

История разработки искусственного интеллекта в медицине

История применения ИИ в медицине берет начало еще в 1960-х годах, когда были разработаны первые медицинские программы, такие как виртуальный собеседник ELIZA и экспертная система MYCIN для диагностики инфекционных заболеваний [9, 10]. Также в то время основное внимание уделялось цифровизации данных для создания электронных медицинских карт и клинических информационных баз. Это заложило основу современных подходов к структурированию данных и аналитике больших медицинских данных для диагностики и прогноза и оказало влияние на формирование современных поисковых систем, таких как PubMed, развитие которых началось в середине 1960-х годов с системы MEDLARS. Таким образом, историческая цифровизация стала ключевым звеном перехода от ручного поиска литературы к автоматизированным инструментам. Данный процесс способствовал созданию сети для научного сотрудничества нескольких образовательных учреждений, что привело к созданию научных баз данных биомедицинских публикаций [10].

Первые прототипы применения ИИ в клинической медицине с доказанной эффективностью появились в конце 1970-х годов. В этот период был разработан консультативный программный комплекс Causal-Associational Network (CASNET), предназначенный для анализа данных о заболеваниях и предоставления врачам рекомендаций по ведению пациентов [10]. Сеть CASNET продемонстрировала эволюцию от жестких правил к вероятностному моделированию, что впоследствии стало основой статистических подходов в медицинских экспертных системах. В последующие годы были созданы диагностические системы на основе ИИ — MYCIN, EMYCIN и INTERNIST-1, предназначенные для выявления бактериальных патогенов и подбора антибиотикотерапии [9]. Эти разработки существенно расширили базы медицинских знаний и стали вспомогательными инструментами для врачей первичного звена при выборе оптимальной фармакотерапии, а также подчеркнули достоверность того факта, что без активного вовлечения клиницистов и тщательной валидации данных эффективность подобных систем ограничена.

Значительное влияние на применение ИИ в медицине оказала программа DXplain, представленная в США в 1986 г. [12]. Она позволяла врачам вводить симптомы пациентов, после чего система предлагала возможные диагнозы, сопровождаемые описанием заболевания и ссылками на дополнительные источники информации. Первоначально база данных программы содержала сведения о 500 заболеваниях, а в последующие годы расширилась до 2400. DXplain стала прецедентом мультиагентных платформ, демонстрируя переход от одиночных экспертных систем к гибридным решениям с возможностью масштабирования и обновления данных и интегрирования с другими системами. В 2011 г. была представлена система Watson, способная анализировать электронные медицинские записи и другие цифровые ресурсы для предоставления врачам доказательной информации [10]. Позднее она была усовершенствована и стала использоваться для исследований в области медицины, а также была интегрирована в фармацевтическую отрасль и процессы первичного приема врачом пациентов. Система Watson стала предшественником современных больших языковых моделей (large language model, LLM), работающих с текстом, изображениями и геномными данными. Создание и применение Watson породило дискуссии о важности прозрачности алгоритмов и необходимости четких нормативных требований для обеспечения безопасности и доверия к ИИ в клинической практике.

Развитие ИИ в медицине начиная с 2000 г. обусловлено тремя ключевыми факторами: экспоненциальным ростом вычислительных мощностей, накоплением больших медицинских данных и прорывом в алгоритмах машинного обучения. Сверточные нейронные сети продемонстрировали человеко-сопоставимую точность в классификации изображений на конкурсе ImageNet, что стимулировало их активное внедрение в рентгенологию и гистологию [12].

К середине 2010-х годов развитие машинного обучения позволило создавать основанные на машинном обучении (machine learning, ML) диагностические системы, превосходящие врачей в конкретных задачах, например в выявлении диабетической ретинопатии по снимкам глазного дна или обнаружении меланомы на дерматоскопических изображениях [9]. Примером глубокого обучения (deep learning, DL) является применение нейронных сетей для анализа показателей жизнедеятельности пациентов, находящихся в отделении реанимации и интенсивной терапии, что улучшило прогнозирование сепсиса и других критических состояний и способствовало их предотвращению [13]. Эти достижения подчеркнули важность мультидисциплинарного подхода: сотрудничества ML-инженеров, биостатистиков и клиницистов при разработке, тестировании и интеграции ИИ-систем. Появление в конце 2010-х годов LLM на английском, таких как BERT (2018), GPT-3 (2020) и их медицинских модификаций типа BioBERT и Med-PaLM, ознаменовало следующий этап развития технологии в медицине [14]. Эти модели, обученные на научных текстах и клинических записях, научились не только генерировать обоснованные медицинские заключения, но и определять неявные феномены в электронных историях болезни, предлагая дифференциальные диагнозы с точностью, сравнимой с точностью врачей-ординаторов.

Таким образом, из истории развития ИИ в медицине следует, что надежность любых моделей в первую очередь определяется качеством исходных данных — только точные и полные сведения о пациентах позволяют получать корректные прогнозы и рекомендации, при этом гибкость архитектуры и способность системы адаптироваться к новым клиническим сценариям напрямую влияют на ее эффективность, и наконец для минимизации регуляторных и этических рисков жизненно важна правильность понимания молекулярных механизмов патогенеза заболеваний и действия лекарственных веществ, прозрачность созданных на этой основе алгоритмов, позволяющих формировать системы принятия решений и тем самым обеспечивать безопасность пациентов и соответствие нормативным требованиям.

К 2025 г. LLM рекомендуются в качестве клинических систем поддержки принятия решений, интегрируя данные из лабораторных параметров, рентгенологических изображений и геномных исследований для персонализированного прогнозирования рисков и оптимизации схем лечения. Их способность обрабатывать мультимодальную информацию — от текстовых описаний симптомов до молекулярных структур лекарственных веществ комплементарным биологическим молекулам-мишеням — помогает ускорить получение новых лекарственных препаратов, в том числе для персональной генной терапии врожденных или приобретенных генных повреждений [15].

Сформировались две концепции, обозначаемые как «сильный» и «слабый» ИИ. Концепция «сильного» ИИ подразумевает создание систем, способных к обучению, самосовершенствованию и обладающих элементами самосознания, аналогичными человеческим или даже превосходящими их. Однако данная технология на текущий момент не достигла оптимального уровня. Термин «слабый ИИ» применяется к компьютерным программам, предназначенным для решения конкретных, зачастую специализированных задач с помощью матриц, математических регрессий и алгоритмов [16].

Применение технологий ИИ в медицине, несмотря на постоянное совершенствование, сопровождается серьезными ограничениями, снижающими их эффективность, и создает потенциальные угрозы для безопасности пациентов.

Ограничения, связанные с базами данных

Первым и практически значимым фактором, влияющим на эффективность ИИ в здравоохранении, является качество и количество данных, формирующих базу (например, электронные медицинские карты и результаты лабораторных тестов в структурированном формате), необходимую для машинного обучения. Недостаток ключевых данных, на которых обучается модель ИИ, или их низкое качество могут привести к ошибкам в диагностике и лечении. Так, если данные о пациентах, новых лекарственных средствах, методах диагностики и лечения не обновляются регулярно, ИИ может предложить устаревшие схемы лечения, основанные на предыдущей статистике. Кроме того, данные могут быть неполными или содержать ошибки (например, пропуски в результатах биохимических анализов), что также негативно сказывается на результатах работы ИИ [17]. Проблема качества и полноты данных особенно актуальна в сфере медицинской информации, так как модели ИИ обучаются на данных, которые могут содержать ошибки, пробелы или не отражать репрезентативно всю популяцию пациентов, что ограничивает их способность корректно предсказывать редкие осложнения. Отсутствие репрезентативности данных способствует возникновению так называемой алгоритмической предвзятости, поскольку обучающая выборка, которая не учитывает разнообразие пациентов по возрасту, полу, этнической принадлежности или социально-экономическому статусу, приводит к снижению точности (на 10–15%) принимаемых решений для менее представленных групп населения [18].

Для того чтобы модели ML и DL могли надлежащим образом классифицировать или прогнозировать широкий спектр клинических исходов, требуются структурированные и обновляемые массивы данных. Наибольший прогресс в способности ML генерировать более совершенные и точные алгоритмы произошел в секторах, где имеется легкий доступ к большим массивам данных. Однако в сфере здравоохранения существует сложная проблема с доступностью информации. Так как истории болезни пациентов считаются конфиденциальными, для обмена медицинскими данными существуют затруднения. Этот вопрос можно решить путем деперсонализации историй болезни, используемых для ML. Более того, в последующем эти данные могут стать недоступными после первичной реализации алгоритма, что затрудняет совершенствование моделей. В идеале системы, основанные на ML, должны постоянно совершенствоваться по мере добавления новых данных в их обучающий набор (регулярное дообучение моделей при поступлении новых данных). Внутреннее корпоративное сопротивление может затруднить достижение этой цели. По-видимому, эффективное применение информационных технологий в медицине требует перехода от индивидуального подхода к лечению к оптимизации всего процесса медицинского обслуживания, а проблема хранения постоянно растущих наборов данных может быть решена посредством широкого внедрения облачных вычислительных платформ [17].

Безопасность и конфиденциальность данных — также один из ключевых вопросов, поскольку медицинская информация представляет особую ценность и уязвима для кибератак [19]. Сохранение конфиденциальности информации имеет первостепенное значение, а развитие ИИ повышает риск того, что пользователи могут ошибочно воспринимать системы ИИ (чат-боты) как представителей человеческого общения, что приводит к скрытому сбору данных без осознанного согласия пациентов [20]. При этом согласие пациента остается важнейшим компонентом обеспечения конфиденциальности, поскольку практикующие врачи могут разрешать широкое использование информации для исследований с применением ИИ без дополнительного согласования с пациентом. Примером служит ситуация с приложением Streams, разработанным DeepMind (Google) для Национальной службы здравоохранения США, которое содержит алгоритм лечения пациентов с острой почечной недостаточностью, где данные о 1,6 млн пациентов были загружены без их явного согласия, что вызвало серьезную общественную критику с последующей приостановкой проекта и подчеркнуло растущую проблему защиты персональных данных [17].

Нормативное регулирование разных стран, например приказ Минздрава России от 14.06.2018 № 341н «Об утверждении Порядка обезличивания сведений о лицах, которым оказывается медицинская помощь, а также о лицах, в отношении которых проводятся медицинские экспертизы, медицинские осмотры и медицинские освидетельствования» или Общие правила ведения вычислительной деятельности в Европе, введенные в 2018 г., представляет собой попытки урегулировать вопросы сбора, использования и распространения личной информации [21, 22]. Однако различия в законодательных нормах между странами создают препятствия для совместных исследований, что может ограничить объем данных, доступных для обучения систем ИИ, как на национальном, так и глобальном уровнях. Необходимы более строгие правила защиты данных, которые не препятствуют инновациям в отрасли, а включают усовершенствование шифрования данных на стороне клиента и применение методов федеративного обучения, при которых сохранение данных происходит децентрализованно [17]. Новый приказ Минздрава России от 20.03.2025 № 139н «Об утверждении Порядка обезличивания сведений о лицах, которым оказывается медицинская помощь, а также о лицах, в отношении которых проводятся медицинские экспертизы, медицинские осмотры и медицинские освидетельствования», вступающий в силу с 1 сентября 2025 г. актуализирует подход к данной проблеме [23]. Согласно данному документу, в целях обезличивания сведений пациентов применяются метод введения идентификаторов, предусматривающий замену части сведений идентификаторами с созданием таблицы (справочника) соответствия идентификаторов исходным данным и метод изменения состава или семантики, предусматривающий изменение состава или семантики персональных данных путем замены результатами статистической обработки, обобщения или удаления части сведений.

Анализ качества данных, используемых для разработки алгоритмов, также является сложной задачей, поскольку данные о пациентах часто хранятся в течение ограниченного времени и могут быть неупорядоченными, содержать ошибки и несоответствия. Несмотря на усилия по их очистке, используемые наборы данных неизбежно будут содержать непредвиденные пробелы, а широкое внедрение электронных медицинских карт, хотя и обещает улучшить ситуацию, остается ограниченным из-за проблем регулирования и несовместимости между различными учреждениями [24]. Таким образом, интероперабельность, т.е. способность различных систем и организаций работать вместе, — еще одно важное техническое ограничение для ИИ в здравоохранении, поскольку данные должны быть легко передаваемыми между различными учреждениями и системами. Проблема интероперабельности особенно актуальна в условиях фрагментированных систем здравоохранения, где отдельные больницы могут использовать собственные информационные системы.

Ограничения, связанные с алгоритмами обучения

Развитие технологий ИИ порождает новые задачи, выходящие за рамки первоначального этапа сбора данных. Независимо от лежащего в основе системы ИИ алгоритма существует проблема переобучения, под которой в контексте медицины понимают ситуацию, когда алгоритм выявляет несущественные корреляции между характеристиками пациентов и исходами, что приводит к чрезмерному влиянию множества переменных и, как следствие, снижению точности прогнозов на новых данных. Таким образом, модель ИИ может демонстрировать высокую эффективность в рамках обучающего набора, но показывать неточные результаты при прогнозировании будущих событий. Так, Yaoguang Li et al. показали, что даже небольшое число ошибочно размеченных или артефактных сегментов ЭКГ приводит к значительному переобучению моделей и падению качества на внешней валидации. При удалении таких «маркеров» точность классификации аритмий на независимом наборе данных MIT-BIH выросла с 85,2 до 92,7% [25].

Кроме того, утечка данных во время обучения (ситуация, когда модель использует информацию, недоступную при ее реальном применении) остается актуальной проблемой, поскольку чрезмерно высокая точность прогнозирования может быть связана с ошибочным учетом ограничений независимых переменных внутри обучающего набора, что требует верификации результатов с помощью новых наборов данных [26]. Когда модель машинного обучения излишне использует особенности обучающей выборки, она теряет способность эффективно работать с новыми, ранее не встречавшимися случаями. В контексте медицины это означает, что ИИ хорошо распознает распространенные заболевания с типичными симптомами, но значительно хуже справляется с редкими или атипичными проявлениями болезней, что может привести к опасным диагностическим ошибкам.

Более того, одной из характерных проблем современных систем ИИ является так называемый черный ящик, возникающий, когда система ИИ способна выдавать результат, но механизм его достижения непонятен пользователю, а иногда даже разработчикам. Алгоритмы DL зачастую не способны предоставить понятные и прозрачные объяснения своим прогнозам, что затрудняет их интерпретацию и юридическую защиту в случае неверных рекомендаций. Поэтому в последние годы активно развиваются методы explainable AI (XAI, поясняющего ИИ), направленные на повышение прозрачности моделей, например: SHAP (SHapley Additive exPlanations) позволяет количественно оценить вклад каждого признака в прогноз, обеспечивая глобальную интерпретацию работы алгоритма [27]; LIME (Local Interpretable Model-Agnostic Explanations) строит для каждого примера простую линейную модель в окрестности данного наблюдения и демонстрирует, какие признаки наиболее существенно влияют на результат, — подход, доказавший свою эффективность при анализе текстовых и графических данных [28]. В нейросетевых архитектурах, особенно в трансформерах, на основе определения механизмов визуализации выделяются части входных данных (например, участки рентгеновского снимка или фразы в клинических записях) для фокусирования модели при принятии решений [29]. Другой метод, Grad-CAM (Gradient-weighted Class Activation Mapping,) используется при анализе данных визуализации. Его суть заключается в построении карт, указывающих, какие участки изображения доставляют наибольший градиентный вклад в предсказание, — метод, который доказал свою клиническую полезность в задачах лучевой диагностики и патоморфологии [30].

Отсутствие прозрачности в работе модели может привести к снижению доверия к ней со стороны как медицинских специалистов, так и пациентов. Разработка систем ИИ с возможностью интерпретации их работы остается одной из приоритетных областей исследований [31]. Однако отмечен тренд смещения от неконтролируемых «черных ящиков» к гибридным решениям с встроенной объяснимостью, что может облегчить юридическую защиту рекомендаций ИИ и ускорить их клиническую интеграцию.

Ограничения, связанные с применением искусственного интеллекта в клинической практике

Отсутствие на текущий момент достоверных эмпирических данных, подтверждающих эффективность фармакотерапии, основанной на применении ИИ, в рамках запланированных клинических испытаний, — одно из главных препятствий для успешного внедрения таких технологий в клиническую практику [17]. Большинство исследований по использованию ИИ проводится в бизнес-среде при недостаточности информации о влиянии ИИ на конечные клинические результаты у пациентов.

Применение алгоритмов ИИ в диагностическом процессе COVID-19 посредством анализа компьютерной томографии продемонстрировало недостаточную эффективность. Согласно данным, полученным в ходе исследовательской деятельности коллектива специалистов Института Алана Тьюринга, интеграция указанных технологий в медицинскую практику не способствовала существенному повышению эффективности противодействия распространению SARS-CoV-2 [32]. Более того, некоторые исследования демонстрируют, что внедрение ИИ может не только не улучшать качество работы, но даже ухудшать его [33, 34].

Согласно недавно опубликованному исследованию P. Nong et al., около 65% больниц в США используют ИИ-модели, обученные на реальных данных пациентов, для прогнозирования состояния пациента, и тем не менее большинство моделей не смогло выявить приблизительно 66% потенциально смертельных случаев в больницах [35].

Ограничения также связаны с тем, что медицинские алгоритмы подвергаются жестким стандартам сертификации, поэтому многие из них проектируются с избыточной осторожностью, снижая чувствительность к критическим случаям, чтобы избежать ложных срабатываний [35].

Этические проблемы применения искусственного интеллекта в здравоохранении

Этические вопросы, связанные с применением ИИ, поднимаются с момента зарождения самой концепции ИИ. Центральная проблема — вопрос подотчетности, выходящий за рамки конфиденциальности данных и безопасности, рассмотренных ранее. ИИ часто рассматривается как «черный ящик», так как обоснованность его выводов может быть непрозрачна даже для разработчиков. Кроме того, врачи могут столкнуться с этическими проблемами, когда их клиническое суждение противоречит рекомендациям ИИ. Так, в российской медицинской практике имеются примеры неудачного внедрения ИИ, такие как экспертная система «Киберс», разработанная для диагностических целей, персонализированной терапии, верификации назначений и автоматизации ведения медицинской документации. Проект столкнулся с серьезным сопротивлением со стороны медицинского сообщества из-за своей изначальной ориентации на пациентов, а не на медицинских специалистов. В результате врачи восприняли систему как инструмент для самолечения, что привело к формированию негативного отношения к данному ИИ и его практическому применению [36].

Проблема «черного ящика» создает этические дилеммы и для пациентов, которые хотят знать, почему им был поставлен определенный диагноз или рекомендовано конкретное лечение. Возникает правовая неопределенность: сложно возложить ответственность на врача, если он не участвовал в создании алгоритма, не понимает механизмов его функционирования и не может контролировать его работу, а разработчики алгоритмов не всегда обладают всесторонними и современными клиническими знаниями, необходимыми для понимания медицинского контекста. В связи с этим использование ИИ для принятия решений в сфере здравоохранения в настоящий момент запрещено в Китае и Гонконге [17]. В ответ на это в ряде проектов внедряют механизмы визуализации вклада признаков и отчеты о степени уверенности каждого решения, однако подобные решения находятся на этапе формирования и требуют доработки [27–30].

Отсутствие универсальных стандартов и рекомендаций по этическому использованию ИИ в медицине усугубляет проблему. Вопрос о правомерности применения ИИ в здравоохранении остается предметом дискуссий, поскольку единые нормы регулирования пока не разработаны. В США первые попытки стандартизации были предприняты американским Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA), которое разрабатывает критерии оценки безопасности и эффективности систем ИИ [37]. Аналогичные инициативы предпринимает Национальная служба здравоохранения Евросоюза, стремясь создать стандарты, подтверждающие клиническую ценность алгоритмов [22]. Однако этот процесс остается сложным и затрудняет принятие решений на основе ИИ в судебной и регулирующей практике. Важно вести открытое общественное обсуждение этических вопросов, связанных с ИИ, чтобы сформировать универсальные принципы его использования, способствующие благополучию пациентов и повышающие эффективность работы врача [17].

В России вопросы регулирования ИИ в медицине находятся в стадии развития. Важной частью регуляторной среды в стране является соблюдение требований приказа о защите персональных данных, который устанавливает правила обработки и защиты персональных данных граждан, включая медицинскую информацию [21, 23].

Существуют опасения, что внедрение ИИ может привести к «деспециализации» медицинской профессии, когда врачи будут все больше полагаться на рекомендации ИИ, а не на свое клиническое суждение. Это может негативно сказаться на качестве медицинской помощи, особенно в нестандартных или сложных случаях. Изменение роли врача также ставит вопросы адаптации медицинского образования к новым реалиям. Врачи должны быть обучены не только традиционным медицинским знаниям и навыкам, но и пониманию принципов работы ИИ, его возможностей и ограничений, а также умению критически оценивать его рекомендации [36].

Отношение пациентов к использованию ИИ в здравоохранении выступает важным фактором, который влияет на успешность внедрения этих технологий. Исследования показывают, что восприятие ИИ пациентами может варьироваться от энтузиазма до скептицизма и страха [38].

Автоматизация медицинских решений с помощью ИИ способна значительно повлиять на общество. Она способствует более равномерному распределению медицинской помощи, особенно в удаленных или недостаточно обслуживаемых районах. Однако, если доступ к технологиям ИИ будет неравномерным, это может усилить существующее неравенство в доступе к здравоохранению. Кроме того, автоматизация приводит к изменениям в структуре занятости в медицинском секторе, влияя на количество и типы рабочих мест, доступных для медицинских работников. Это, в свою очередь, требует адаптации образовательных программ и систем профессиональной переподготовки.

Важными дополняющими аспектами при обсуждении этики использования ИИ-сервисов являются их безопасность и надежность в реальных условиях. В частности, еще до широкого внедрения некоторые системы, например Botkin.AI, предназначенная для анализа КТ-снимков, были приостановлены Росздравнадзором в ноябре 2023 г. из-за рисков причинения вреда здоровью и необходимости дополнительной проверки разработчика на соответствие требованиям безопасности. Такой прецедент подчеркивает необходимость тщательной валидации алгоритмов на репрезентативных данных. Для обеспечения безопасности пациентов в России действует строгая система нормативных требований. Государственная стандартизация осуществляется через ГОСТ Р 59921.1-2022, регламентирующий клиническую оценку ИИ-систем. Регистрационные требования определяются приказом Минздрава России № 686н, устанавливающим правила для медицинских изделий III класса риска. Постмаркетинговый контроль обеспечивает постоянный мониторинг эффективности и безопасности внедренных решений. Для минимизации рисков предпринимаются дополнительные меры защиты: система двойного контроля (врач + ИИ) для критических диагнозов и регулярное обновление алгоритмов с учетом новых клинических данных. Такой комплексный подход позволяет найти баланс между инновационным развитием и защитой пациентов.

Возможные пути преодоления ограничений

Для преодоления ограничений, связанных с качеством данных, необходимо обучать модели на более разнородных и актуальных медицинских данных [39].

Несомненно, что большинство существующих недостатков в использовании ИИ в медицине связано с неполнотой используемых данных при создании систем принятия врачебных решений. Для решения этой проблемы следует создавать многомодальные системы, анализирующие не только цифры лабораторных и инструментальных данных, но и тексты, описывающие наблюдения и обобщения врачей, медицинские инструкции по применению используемых лекарственных препаратов [17]. Такие системы, обеспечивая более полное представление о состоянии пациента с учетом различных аспектов его здоровья, будут не мешать, а помогать врачу, так как память компьютера всегда будет превосходить человеческую память и гарантировать врачу предоставление самых последней и актуальной медицинской информации, которая непрерывно пополняется и совершенствуется. Многомодальные системы преодолевают ограничения, связанные с клиническим контекстом, так как они интегрируют различные типы данных, обеспечивая более целостное представление о пациенте. Например, система может анализировать не только лабораторные показатели, но и результаты визуализации, историю болезни (изменение указанных параметров в динамике) и даже аудиозаписи бесед врача с пациентом. Прообразом таких мульмодальных систем может служить модель NHS AI Lab, интегрирующая электронные карты, рентгеновские снимки и лабораторные показатели в единую систему поддержки клинических решений [41]. Эти разработки сопровождаются пилотным внедрением в клиниках с обратной связью от врачей.

Развитие многомодальных систем требует междисциплинарного подхода, объединяющего экспертизу в области медицины, компьютерных наук, лингвистики и прикладной математики. Это позволит создавать системы ИИ, лучше понимающие сложный контекст медицинских решений. Для успешного применения таких систем необходимо развитие соответствующей инфраструктуры: интеграция с медицинскими информационными системами, стандартизация форматов хранения данных и обеспечение совместимости с существующими протоколами.

Для преодоления этических проблем, связанных с «черным ящиком» ИИ, необходимо улучшать анализ практической полезности и интерпретируемости ИИ, чтобы врачи могли проверять его рекомендации и отслеживать во времени его результативность [42]. В связи с этим активно развиваются методы объяснимого ИИ, описанные выше. Они позволяют визуализировать вклад отдельных признаков в прогноз модели или фокус внимания модели на изображении [27–30]. Эти методы уже применяются в клинических ИИ-системах, включая интерпретацию изображений легких и диагностику дерматологических заболеваний. Решение этических и социальных вопросов также требует подготовки специалистов, способных критически оценивать рекомендации ИИ. Это подчеркивает необходимость создания и развития образовательных программ, ориентированных на подготовку кадров с двойной экспертизой в медицине и ИИ. Подобные образовательные инициативы уже внедрены в 30% европейских медицинских вузов [43].

Для решения правовых и регуляторных проблем следует разработать четкие нормы и стандарты для ИИ в здравоохранении, установить критерии для сертификации медицинских моделей ИИ, определить ответственность за ошибки и обеспечить защиту персональных данных пациентов. В настоящий момент коалиция из более 3 тыс. медицинских систем, технологических компаний и защитников прав пациентов создает сеть для проверки и оценки производительности ИИ-систем. Эти лаборатории стремятся обеспечить тестирование технологий на данных, представляющих различные группы пациентов в конкретных регионах, чтобы гарантировать их эффективность и безопасность [35]. Важно также развивать международное сотрудничество в области регулирования ИИ в медицине, чтобы обеспечить согласованность подходов и стандартов в разных странах. Это особенно значимо в контексте глобализации медицинских технологий и обмена данными между странами.

Сравнительный обзор ключевых ограничений и практических решений приведен в табл. 1.

 

Таблица 1. Классификация ограничений искусственного интеллекта в медицине и практические стратегии их преодоления

Ограничение	Решение
Неполнота и однородность данных	Обучать на более разнородных и актуальных данных, применять шумоустойчивые методы, регулярно обновлять модели, внедрять федеративное обучение и синтетические данные
Ограниченная клиническая контекстуализация	Внедрять многомодальные системы, формировать междисциплинарные команды, создавать единую инфраструктуру для работы с разными типами данных
«Черный ящик» и недостаточная интерпретируемость	Интегрировать XAI-методы, отображать ключевые факторы и уровень уверенности, обучать врачей работе с объясняющими моделями
Правовые и регуляторные барьеры	Установить четкие критерии сертификации и ответственности, организовать коллективное тестирование, развивать международное сотрудничество и адаптивную регуляцию

 

Международный опыт, включая инициативы FDA (например, SaMD Action Plan) и EMA (Big Data Task Force), демонстрирует важность разработки протоколов внешней валидации и постоянного мониторинга ИИ-систем в реальной клинической среде [44]. Эти организации также поддерживают концепцию «адаптивной регуляции», при которой модели могут обновляться с сохранением прозрачности и документации изменений. Для эффективного использования систем ИИ в разных странах желательно создать единые правила и стандарты. Это может облегчить применение медицинских ИИ-технологий в международном масштабе и избежать ситуации, когда в каждой стране действуют свои, порой противоречащие друг другу требования к таким системам.

Заключение

ИИ обладает значительным потенциалом не только для цифровой трансформации здравоохранения, но и его совершенствования и перехода на новый уровень. Однако успешность его внедрения требует преодоления рисков и ограничений, во многом зависящих от эффективности сотрудничества специалистов в области компьютерных технологий и медицинских работников. Технические проблемы, связанные с качеством данных, интероперабельностью и надежностью алгоритмов, отсутствие адекватных образовательных программ обучения врачей применению систем ИИ в медицине создают серьезные препятствия для его эффективного использования в здравоохранении. Этические дилеммы, включая вопросы конфиденциальности, алгоритмической предвзятости, прозрачности и распределения ответственности, требуют тщательного рассмотрения и взвешенного решения. Нуждаются в развитии регуляторные составляющие обеспечения безопасного и эффективного использования ИИ в здравоохранении. Наконец внедрение ИИ изменяет роль медицинского персонала и восприятие пациентами медицинской помощи: чрезмерная зависимость от ИИ может привести к деградации клинических навыков врачей, а недостаток прозрачности — подорвать доверие пациентов к медицинской системе.

Все перечисленное, помимо прочего, требует повышения качества данных и алгоритмов, развития многомодальных систем, а также увеличения прозрачности и интерпретируемости ИИ-решений. Дополнительно следует совершенствовать нормативно-правовую и образовательную базы, способствующие эффективному внедрению данных технологий. Только комплексный подход к решению этих проблем позволит в полной мере реализовать потенциал ИИ для улучшения здравоохранения.

Таким образом, хотя ИИ обладает значительным потенциалом для улучшения медицинской диагностики и лечения, технологии никогда не позволят полностью заменить врача. ИИ следует рассматривать как инструмент, который может дополнять и поддерживать работу медицинских специалистов, а не заменять их клиническое суждение и опыт. Будущее медицины лежит не в полной автоматизации, а в эффективном партнерстве между врачом и ИИ.

Дополнительная информация

Источник финансирования. Исследование выполнено при финансовой поддержке РНФ, проект № 23-75-30012.

Конфликт интересов. Авторы данной статьи подтвердили отсутствие конфликта интересов, о котором необходимо сообщить.

Участие авторов. В.В. Береговых — концепция и дизайн исследования, одобрение направления рукописи на публикацию; В.И. Пантелеев — концепция и дизайн исследования, поисково-аналитическая работа, написание текста; Н.Л. Шимановский — концепция и дизайн исследования, написание текста; П.Г. Ройтберг — написание текста. Все авторы статьи внесли существенный вклад в организацию и проведение исследования, прочли и одобрили окончательную версию рукописи перед публикацией.

About the authors

Valery V. Beregovykh

Russian Academy of Sciences; Plekhanov Russian University of Economics

Email: beregovykh@ramn.ru
ORCID iD: 0000-0002-0210-4570
SPIN-code: 5940-7554

PhD in Technical Sciences, Professor, Academician of the RAS

Russian Federation, Moscow; Moscow

Vladimir I. Panteleev

Plekhanov Russian University of Economics

Author for correspondence.
Email: vpantel@mail.ru
ORCID iD: 0000-0002-1575-1267
SPIN-code: 4095-8670

MD, PhD

Russian Federation, 36 Stremyanny per., 109992, Moscow

Nikolay L. Shimanovsky

Plekhanov Russian University of Economics

Email: shimann@yandex.ru
ORCID iD: 0000-0001-8887-4420
SPIN-code: 5232-8230

MD, PhD, Professor, Corresponding Member of the RAS

Russian Federation, Moscow

Pavel G. Roitberg

Plekhanov Russian University of Economics

Email: roitbergpg@rea.ru
ORCID iD: 0000-0002-9813-0385

PhD in Economics

Russian Federation, Moscow

References

Supplementary files