Annals of the Russian academy of medical sciencesAnnals of the Russian academy of medical sciencesВестник Российской академии медицинских наук0869-60472414-3545"Paediatrician" Publishers LLC1807510.15690/vramn18075HEALTH CARE MANAGEMENT: CURRENT ISSUESАКТУАЛЬНЫЕ ВОПРОСЫ ОРГАНИЗАЦИИ ЗДРАВООХРАНЕНИЯResearch ArticleRisks and limitations of using artificial intelligence in medicineРиски и ограничения применения искусственного интеллекта в медицинеhttps://orcid.org/0000-0002-0210-45705940-7554BeregovykhValery V.БереговыхВалерий Васильевич
Russian Federation

PhD in Technical Sciences, Professor, Academician of the RAS

д.т.н., профессор, академик РАН

beregovykh@ramn.ruhttps://orcid.org/0000-0002-1575-12674095-8670PanteleevVladimir I.ПантелеевВладимир Игоревич
Russian Federation

MD, PhD

к.м.н.

vpantel@mail.ruhttps://orcid.org/0000-0001-8887-44205232-8230ShimanovskyNikolay L.ШимановскийНиколай Львович
Russian Federation

MD, PhD, Professor, Corresponding Member of the RAS

д.м.н., профессор, член-корреспондент РАН

shimann@yandex.ruhttps://orcid.org/0000-0002-9813-0385RoitbergPavel G.РойтбергПавел Григорьевич
Russian Federation

PhD in Economics

к.э.н.

roitbergpg@rea.ruRussian Academy of SciencesРоссийская академия наукPlekhanov Russian University of EconomicsРоссийский экономический университет имени Г.В. Плеханова10102025803Annals of the Russian Academy of Medical SciencesВестник Российской академии медицинских наук1982061004202509072025Copyright ©; 2025, "Paediatrician" Publishers LLCCopyright ©; 2025, Издательство "Педиатръ"2025"Paediatrician" Publishers LLCИздательство "Педиатръ"https://vestnikramn.spr-journal.ru/jour/about/submissionshttps://vestnikramn.spr-journal.ru/jour/article/view/18075

The scientific, technical, ethical, and legal aspects of applying artificial intelligence (AI) in modern medicine, as well as its impact on medical professionals and patients, are examined. The research methodology is based on the analysis of scientific publications dedicated to the use of AI in medicine. Systematization of the available data allows identifying key limitations faced by developers of medical AI systems and their users. These issues are related to the quality and completeness of the data on which machine learning models are built, the limited clinical context, challenges in knowledge generalization, and system interoperability. Ethical challenges include concerns about privacy, algorithmic bias, and the distribution of responsibility. Additionally, there are issues regarding the regulatory framework for AI in healthcare and the training of medical professionals in computer technologies. Overcoming these limitations requires improving data quality, developing multimodal systems, increasing algorithm transparency, and refining the regulatory framework.

Рассмотрены научные, технические, этические и правовые аспекты проблемы применения искусственного интеллекта (ИИ) в современной медицине, а также его влияние на медицинских специалистов и пациентов. Методология исследования основана на анализе научных публикаций, посвященных применению ИИ в медицине. Систематизация имеющихся данных позволяет выявить ключевые ограничения, с которыми сталкиваются разработчики медицинских ИИ-систем и их потребители. Данные проблемы связаны с качеством и полнотой данных, на которых создаются модели машинного обучения, ограниченностью клинического контекста, сложностями с обобщением знаний и интероперабельностью систем. Этические вызовы включают вопросы конфиденциальности, алгоритмической предвзятости и распределения ответственности. Также существуют проблемы нормативно-правового регулирования ИИ в здравоохранении и обучения врачей компьютерным технологиям. Для преодоления этих ограничений требуется улучшение качества данных, развитие многомодальных систем, повышение прозрачности алгоритмов и совершенствование нормативно-правовой базы.

artificial intelligencehealthcaremedicinepharmacologyclinical decision support systemискусственный интеллектздравоохранениемедицинафармакологиясистема поддержки принятия врачебных решенийПравительство РФGovernment of the Russian Federation23-75-30012Указ Президента РФ от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации». Available from: http://www.kremlin.ru/acts/bank/4473 (accessed: 15.05.2025).Богомолов А.И., Невежин В.П., Жданов Г.А. Искусственный интеллект и экспертные системы в мобильной медицине // Хроноэкономика. — 2018. — Т. 3. — № 11. — С. 17–28. [Bogomolov AI, Nevezhin VP, Zhdanov GA. Artificial intelligence and expert systems in mobile medicine. Hronoeconomics. 2018;3(11);17–28. (In Russ.)] Available from: https://www.elibrary.ru/item.asp?id=35353718Russell S, Norvig P. (eds) Artificial Intelligence: A Modern Approach. 4th ed. Pearson; 2020.Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Communications of the ACM. 2017;60(6):84–90. doi: https://doi.org/10.1145/3065386Kim Y, Denton C, Hoang L, et al. Structured attention networks. 2017. doi: https://doi.org/10.48550/arXiv.1702.00887Khan Z, Gaidhane AM, Singh M, et al. Diagnostic Accuracy of IDX-DR for Detecting Diabetic Retinopathy: A Systematic Review and Meta-Analysis. Am J Ophthalmol. 2025;273:192–204. doi: https://doi.org/10.1016/j.ajo.2025.02.022Darcy A, Beaudette A, Chiauzzi E, et al. Anatomy of a Woebot® (WB001): agent guided CBT for women with postpartum depression. Expert Rev Med Devices. 2023;20(12):1035–1049. doi: https://doi.org/10.1080/17434440.2023.2280686Гусев А.В., Артемова О.Р., Васильев Ю.А., и др. Внедрение медицинских изделий с технологиями искусственного интеллекта в здравоохранении России: итоги 2023 г. // Национальное здравоохранение. — 2024. — Т. 5. — № 2. — С. 17–24. [Gusev AV, Artemova OR, Vasiliev YA, et al. Integration of AI-based software as a medical device into Russian healthcare system: results of 2023. National Health Care (Russia). 2024;5(2):17–24. (In Russ.)] doi: https://doi.org/10.47093/2713-069X.2024.5.2.17-24Ламоткин А.И., Корабельников Д.И., Ламоткин И.А., и др. Искусственный интеллект в здравоохранении и медицине: история ключевых событий, его значимость для врачей, уровень развития в разных странах // ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. — 2024. — Т. 17. — № 2. — С. 243–250. [Lamotkin AI, Korabelnikov DI, Lamotkin IA, et al. Artificial intelligence in healthcare and medicine: the history of key events, its significance for doctors, the level of development in different countries. FARMAKOEKONOMIKA. Modern Pharmacoeconomics and Pharmacoepidemiology. 2024;17(2):243–250. (In Russ.)] doi: https://doi.org/10.17749/2070-4909/farmakoekonomika.2024.254Rahman MA, Victoros E, Ernest J, et al. Impact of Artificial Intelligence (AI) Technology in Healthcare Sector: A Critical Evaluation of Both Sides of the Coin. Clin Pathol. 2024;17:2632010X241226887. doi: https://doi.org/10.1177/2632010X241226887Васильев Ю.А., Сычёв Д.А., Бажин А.В., и др. Автономный искусственный интеллект для сортировки результатов профилактических рентгенологических исследований органов грудной клетки: медицинская и экономическая эффективность // Digital Diagnostics. — 2025. — Т. 6. — № 1. — С. 5–22. [Vasilev YuA, Sychev DA, Bazhin AV, et al. Autonomous artificial intelligence for sorting results of preventive radiological examinations of chest organs: medical and economic efficiency. Digital Diagnostics. 2025;6(1):5–22. (In Russ.)] doi: https://doi.org/10.17816/DD641703Kaul V, Enslin S, Gross SA. History of artificial intelligence in medicine. Gastrointest Endosc. 2020;92(4):807–812. doi: https://doi.org/10.1016/j.gie.2020.06.040Xiong W, Zhan Y, Xiao R, et al. Advancing sepsis diagnosis and immunotherapy machine learning-driven identification of stable molecular biomarkers and therapeutic targets. Sci Rep. 2025;15(1):8333. doi: https://doi.org/10.1038/s41598-025-93010-8Wang YJ, Choo WC, Ng KY, et al. Evolution of AI enabled healthcare systems using textual data with a pretrained BERT deep learning model. Sci Rep. 2025;15(1):7540. doi: https://doi.org/10.1038/s41598-025-91622-8Pal S, Bhattacharya M, Islam MA, et al. ChatGPT or LLM in next-generation drug discovery and development: pharmaceutical and biotechnology companies can make use of the artificial intelligence-based device for a faster way of drug discovery and development. Int J Surg. 2023;109(12):4382–4384. doi: https://doi.org/10.1097/JS9.0000000000000719Филимонов О. А., Ладыкин Ю.С. Некоторые этические аспекты применения искусственного интеллекта в медицине // International Journal of Humanities and Natural Sciences. — 2024. — Т. 6–4. — № 93. — С. 116–122. [Filimonov OA, Ladykin YS. Some ethical aspects of the use of artificial intelligence in medicin. International Journal of Humanities and Natural Sciences, 2024,6-4(93):116–122. (In Russ.)] doi: https://doi.org/10.24412/2500-1000-2024-6-4-116-122Khan B, Fatima H, Qureshi A, et al. Drawbacks of Artificial Intelligence and Their Potential Solutions in the Healthcare Sector. Biomed Mater Devices. 2023;1–8. doi: https://doi.org/10.1007/s44174-023-00063-2Svensson AM, Jotterand F. Doctor Ex Machina: A Critical Assessment of the Use of Artificial Intelligence in Health Care. J Med Philos. 2022;47(1):155–178. doi: https://doi.org/10.1093/jmp/jhab036Аликперова Н.В. Искусственный интеллект в здравоохранении: риски и возможности // Здоровье мегаполиса. — 2023. — Т. 4. — № 3. — С. 41–49. [Alikperova NV. Artificial intelligence in healthcare: risks and opportunities. City Healthcare. 2023;4(3):41–49. (In Russ.)] doi: https://doi.org/10.47619/2713-2617.zm.2023.v.4i3;41-49Murdoch B. Privacy and artificial intelligence: challenges for protecting health information in a new era. BMC Med Ethics. 2021;22(1):122. doi: https://doi.org/10.1186/s12910-021-00687-3Приказ Минздрава России от 14.06.2018 № 341н «Об утверждении порядка обезличивания сведений о лицам, которым оказывается медицинская помощь, а также о лицах, в отношении которых проводятся медицинские экспертизы, медицинские осмотры и медицинские освидетельствования». Available from: https://minjust.consultant.ru/documents/40226 (accessed: 15.05.2025).Müller M, Kettemann MC. European Approaches to the Regulation of Digital Technologies. In: Werthner H, Ghezzi C, Kramer J, et al. Introduction to Digital Humanism. Springer, Cham; 2024. P. 623–637. doi: https://doi.org/10.1007/978-3-031-45304-5_39Приказ Минздрава России от 20.03.2025 № 139н «Об утверждении Порядка обезличивания сведений о лицах, которым оказывается медицинская помощь, а также о лицах, в отношении которых проводятся медицинские экспертизы, медицинские осмотры и медицинские освидетельствования». Available from: http://publication.pravo.gov.ru/document/0001202504140009?index=1 (accessed: 15.05.2025).Pournik O, Mukherjee T, Ghalichi L, et al. How Interoperability Challenges Are Addressed in Healthcare IoT Projects. Stud Health Technol Inform. 2023;309:121–125. doi: https://doi.org/10.3233/SHTI230754Yaoguang L, Wei C, Cong W. Identifying the mislabeled training samples of ECG signals using machine learning. Biomedical Signal Processing and Control. 2019;47:168–176. doi: https://doi.org/10.1016/j.bspc.2018.08.026Joshi P, Thapa C, Camtepe S, et al. Performance and Information Leakage in Splitfed Learning and Multi-Head Split Learning in Healthcare Data and Beyond. Methods Protoc. 2022;5(4):60. doi: https://doi.org/10.3390/mps5040060Lundberg S, Lee SI. A unified approach to interpreting model predictions. 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA. doi: https://doi.org/10.48550/arXiv.1705.07874Ribeiro M, Singh S, Guestrin C. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations. 2016;97–101. doi: https://doi.org/10.48550/arXiv.1602.04938Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need. 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA. doi: https://doi.org/10.48550/arXiv.1706.03762Selvaraju R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization. Int J Comput Vis. 2019;128;336-539. doi: https://doi.org/10.1007/s11263-019-01228-7Wolff J, Pauling J, Keck A, et al. The Economic Impact of Artificial Intelligence in Health Care: Systematic Review. J Med Internet Res. 2020;22(2):e16866. doi: https://doi.org/10.2196/16866Морозов Д.Ю., Омельяновский В.В. Нужен ли искусственный интеллект системе здравоохранения? // Медицинские технологии. Оценка и выбор. — 2024. — Т. 46. — № 4. — С. 40–48. [Morozov DYu, Omelyanovskiy VV. Is artificial intelligence necessary for healthcare system? Medical Technologies. Assessment and Choice. 2024;46(4):40–48. (In Russ.)] doi: https://doi.org/10.17116/medtech20244604140Mårtensson G, Ferreira D, Granberg T, et al. The reliability of a deep learning model in clinical out-of-distribution MRI data: A multicohort study. Med Image Anal. 2020;66:101714. doi: https://doi.org/10.1016/j.media.2020.101714Freeman K, Geppert J, Stinton C, et al. Use of artificial intelligence for image analysis in breast cancer screening programmes: systematic review of test accuracy. BMJ. 2021;374:n1872. doi: https://doi.org/10.1136/bmj.n1872Nong P, Adler-Milstein J, Apathy NC, et al. Current Use and Evaluation of Artificial Intelligence And Predictive Models in US Hospitals. Health Aff (Millwood). 2025;44(1):90–98. doi: https://doi.org/10.1377/hlthaff.2024.00842Васюта Е.А., Подольская Т.В. Проблемы и перспективы внедрения искусственного интеллекта в медицине // Государственное и муниципальное управление. Ученые записки. — 2022. — № 1. — С. 25–32. [Vasyuta EA, Podolskaya TV. Challenges and Prospects for the Introduction of Artificial Intelligence in Medicine. State and Municipal Management. Scholar Notes. 2022;1:25–32. (In Russ.)] doi: https://doi.org/10.22394/2079-1690-2022-1-1-25-32Alami H, Lehoux P, Denis JL, et al. Organizational readiness for artificial intelligence in health care: insights for decision-making and practice. J Health Organ Manag. 2021;(35)1:106–114. doi: https://doi.org/10.1108/JHOM-03-2020-0074Кочетова Ю.Ю. Искусственный интеллект в медицине: этические проблемы коммуникации между врачом и пациентом // Биоэтика. — 2024. — Т. 17. — № 1. — С. 38–43. [Kochetova YY. Artificial intelligence in medicine: ethical problems of communication between a doctor and a patient. Bioethics Journal. 2024;17(1):38–43. (In Russ.)] doi: https://doi.org/10.19163/2070-1586-2024-17-1-38-43Jiang F, Jiang Y, Zhi H, et al. Artificial intelligence in healthcare: past, present and future. Stroke Vasc Neurol. 2017;2(4):230–243. doi: https://doi.org/10.1136/svn-2017-000101Rieke N, Hancox J, Li W, et al. The future of digital health with federated learning. NPJ Digit Med. 2020;3:119. doi: https://doi.org/10.1038/s41746-020-00323-1Kelly CJ, Karthikesalingam A, Suleyman M, et al. Key challenges for delivering clinical impact with artificial intelligence. BMC Med. 2019;17(1):195. doi: https://doi.org/10.1186/s12916-019-1426-2Charow R, Jeyakumar T, Younus S, et al. Artificial Intelligence Education Programs for Health Care Professionals: Scoping Review. JMIR Med Educ. 2021;7(4):e31043. doi: https://doi.org/10.2196/31043Stai B, Heller N, McSweeney S, et al. Public Perceptions of Artificial Intelligence and Robotics in Medicine. J Endourol. 2020;34(10):1041–1048. doi: https://doi.org/10.1089/end.2020.0137Lal A, Dang J, Nabzdyk C, et al. Regulatory oversight and ethical concerns surrounding software as medical device (SaMD) and digital twin technology in healthcare. Ann Transl Med. 2022;10(18):950. doi: https://doi.org/10.21037/atm-22-4203