Комплексный анализ процессов интеграции информационных технологий в медицинские организации

Полный текст

Введение

Ключевое место в технологическом развитии современного мира, безусловно, занимают информационные технологии (ИТ). Цифровизация является закономерным и неотъемлемым этапом развития любой отрасли, в частности медицины. Функционирование современных учреждений здравоохранения уже не представляется возможным без какого-либо ИТ-инструмента. Например, системы электронного документооборота и электронных медицинских карт, технологии дистанционной регистрации и записи на прием крайне широко распространены в России и в мире, являясь частью повседневности врачей.

В связи с высокой потребностью цифровизации медицинских учреждений ИТ приковывают к себе внимание исследователей с точки зрения эффективного внедрения. Существует множество отдельных работ, раскрывающих примеры внедрения конкретных ИТ в определенных условиях. Однако, несмотря на наличие большого количество описанных кейсов, все они индивидуальны и не систематизированы.

Не существует также и универсальной модели для внедрения ИТ в медицинские организации [1]. Описаны попытки использования модели UTAUT (Unified Theory of Acceptance and Use of Technology), которая представляет собой теорию принятия и использования технологий и может быть использована в любых отраслях. Однако она не является специфичной для уникальных потребностей здравоохранения и требует дальнейшей доработки для успешного применения в области медицины [2].

К настоящему моменту не было проведено масштабного и подробного анализа процессов внедрения различных ИТ-инноваций с целью поиска имеющихся закономерностей, а самое главное барьеров, которые могут уменьшить вероятность получения успешного результата [3, 4]. Поэтому наша команда исследователей приняла решение провести работу по обобщению современных данных по обозначенной теме в наиболее доказательном формате систематическом обзоре [5].

Таким образом, данная работа призвана расширить понимание закономерностей внедрения ИТ в медицинских организациях и определить ряд регулярно возникающих проблем и барьеров в данном процессе. Это, в свою очередь, поможет сформировать список рекомендаций по повышению шанса успешного внедрения и применения ИТ, что в итоге приведет к развитию медицинской отрасли в России и повышению качества оказания медицинской помощи населению.

Материалы и методы

Систематический тип обзора представляет собой процесс поэтапного поиска и анализа литературных данных по установленной методологии. Данный вариант работы позволяет обеспечить максимально полное изучение тематической литературы за выбранный временной промежуток [6–8].

Систематический обзор выполнялся по разработанному и утвержденному протоколу исследования в соответствии с актуальными рекомендациями Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement [9].

Исследовательский вопрос нашей работы был сформулирован следующим образом: с какими барьерами могут столкнуться организации здравоохранения в процессе внедрения новых медицинских ИТ?

Написание работы предполагало три ключевых этапа.

Первый этап включал поиск (identification) и скрининг (screening) литературы [10]. Поиск осуществлялся с помощью системы PubMed по разработанному поисковому запросу.

Стратегия поиска литературы была простроена на основании следующих ключевых терминов, предварительно проанализированных по системе MeSH:

Для формирования поискового запроса использовались поисковые операторы AND, OR и NOT.

Найденные публикации были подвергнуты скринингу и первичной оценке на релевантность в соответствии с критериями включения и исключения.

Критериями включения являлись следующие:

• английский язык работы;
• исследования из любых стран;
• период публикации 01.01.2013–01.01.2019;
• статья должна представлять собой описание внедрения ИТ в медицинскую организацию и/или анализ применения внедренной ИТ;
• применение качественных методов исследования.

В исследование были включены оригинальные работы с применением качественных методов исследования, работы по вторичной оценке ранее собранных качественных данных, а также работы со смешанными методами исследования.

В обзор были включены статьи, рассматривающие следующие типы медицинских ИТ: получающие и фиксирующие информацию от пациентов, осуществляющие первичные обследования любого типа, обеспечивающие управление данными и документооборотом внутри организации и/или между медицинскими учреждениями, системы помощи принятия решений.

Критерии исключения:

• литературные и систематические обзоры, метаанализы, комментарии к статьям без исследовательской составляющей;
• исключительно количественные исследования;
• «серая литература», работы, не опубликованные в рецензируемом журнале;
• тезисы и диссертации;
• материалы конференций.

На первом этапе исследователями были проанализированы исключительно заголовки и абстракты найденных статей. Каждая работа была оценена на соответствие критериям включения/исключения и ранжирована по системе 1–3, где 1 — статья совершенно не подходит для включения в обзор; 2 — статья, возможно, подходит; 3 —статья подходит с высокой вероятностью. Каждая статья была просмотрена двумя исследователями независимо друг от друга, спорные ситуации решались с привлечением третьего исследователя.

Таким образом, в результате осуществления первого этапа работы (поиск + скрининг) была сформирована база данных публикаций с их первичной оценкой, количество работ составило 2051.

 

Таблица 1. Cписок включенных в обзор статей

№	Название	Страна	Авторы	Год издания	Рассмотренная ИТ
1	An analysis of the development and implementation of a smartphone application for the delivery of antimicrobial prescribing policy: lessons learnt.	UK	E. Charani, Y. Kyratsis, et al.	2013	Imperial Antimicrobial Prescribing Application (IAAP)
2	Empowering village doctors and enhancing rural healthcare using cloud computing in a rural area of mainland China.	China	C.-W. Lina, S.S. Abdul, et al.	2014	Electronic Health Record (HER)
3	Effective notification of important non-urgent radiology results: A qualitative study of challenges and potential solutions	Australia	A. Georgiou, A. Hordern, et al.	2014	Radiology Notification System (RNS)
4	Rates, levels, and determinants of electronic health record system adoption: a study of hospitals in Riyadh, Saudi Arabia.	Saudi Arabia	B. Aldosari	2014	Electronic Health Record (HER)
5	Lessons learned from the introduction of an electronic safety net to enhance test result management in an Australian mothers' hospital.	Australia	A.Georgiou, Sh. Lymer, et al.	2014	Electronic Test Result Acknowledgement (RA) System
6	Meeting user needs in national healthcare systems: lessons from early adopter community pharmacists using the electronic prescriptions service.	UK	J. Harvey, A.J. Avery, et al.	2014	The Electronic Prescription Service (EPS)
7	Evaluation of user adoption during three module deployments of region-wide electronic patient record systems.	Sweden	R. Janols, T. Lind, et al.	2014	Electronic Patient Record (EPR) systems
8	Knowledge and attitudes of nurses in community health centres about electronic medical records.	South Africa	D. O’Mahony, G. Wright, et al.	2014	Electronic Health Record (HER)
9	Implementing electronic health care predictive analytics: considerations and challenges.	USA	R. Amarasingham, R.E. Patzer, et al.	2014	Electronic Health Care Predictive Analytics (e-HPA)
10	Exploring Factors Affecting Voluntary Adoption of Electronic Medical Records Among Physicians and Clinical Assistants of Small or Solo Private General Practice Clinics	China	C. Or, E. Tong, J. Tan, S. Chan	2018	Electronic Medical Record (EMR)
11	Enablers and barriers to using patient decision aids in early stage breast cancer consultations: a qualitative study of surgeons' views.	Canada	M.A. O’Brien, C. Charles, et al.	2014	Patient Decision Aids (PtDAs)
12	Organizational strategies for promoting patient and provider uptake of personal health records.	USA	S. Wells, R. Rozenblum, et al.	2014	Personal Health Records (PHRs)
13	Sociotechnical challenges to developing technologies for patient access to health information exchange data.	USA	J.S. Ancker, M.C. Miller, et al.	2014	Health information exchange (HIE)
14	Implementation of multiple-domain covering computerized decision support systems in primary care: a focus group study on perceived barriers.	Netherlands	M. Lugtenberg, J.-W. Weenink, et al.	2015	Computerized Decision Support Systems (CDSSs)
15	Natural Language Processing for Real-Time Catheter-Associated Urinary Tract Infection Surveillance: Results of a Pilot Implementation Trial.	USA	W. Branch-Elliman, J. Strymish, et al.	2015	Natural Language Processing (NLP) system
16	A case study evaluation of a Critical Care Information System adoption using the socio-technical and fit approach.	Malaysia	M.M. Yusof	2015	Critical Care Information System (CCIS)
17	Health workers' experiences, barriers, preferences and motivating factors in using mHealth forms in Ethiopia.	Ethiopia	A.A. Medhanyie, A. Little, et al.	2015	Electronic Maternal Health Care Forms for mHealth
18	Critical success factors in implementing an e-rostering system in a healthcare organisation.	UK	Z.A. Soomro, J. Ahmed, et al.	2017	Electronic and Systematic Staff Scheduling (e-rostering) system
19	Success factors for implementing and sustaining a mature electronic medical record in a low-resource setting: a case study of iSanté in Haiti	Haiti	N. Puttkammer, N. Hyppolite, et al.	2017	Electronic Medical Records (EMRs)
20	Examining barriers to healthcare providers' adoption of a hospital-wide electronic patient journey board.	Australia	A. Tariqa, M. Baysari, et al.	2018	Electronic Patient Journey Board (EPJB)
21	The impact of computerised physician order entry and clinical decision support on pharmacist-physician communication in the hospital setting: A qualitative study	UK	S.K. Pontefract, J.J. Coleman, et al.	2018	Computerised Physician Order Entry (CPOE), Clinical Decision Support (CDS)
22	Challenges in the use of the mental health information system in a resource-limited setting: lessons from Ghana.	Ghana	L. Kpobi, L. Swartz, A.L. Ofori-Atta	2018	Mental Health Information System (MHIS)
23	Public and physician's expectations and ethical concerns about electronic health record: Benefits outweigh risks except for information security.	Greece	E. Entzeridoua, E. Markopouloua, V. Mollaki	2018	Electronic Health Record (HER)

 

Вторым этапом написания обзора являлось извлечение ключевой информации (data selection and extraction) с последующей оценкой из отобранных на первом этапе работ по критериям GRADE–CER Qual [11] и критериям Спенсера [12]. Анализу были подвержены статьи, получившие оценки «2» и «3» в ходе предыдущего этапа исследования. На данном этапе каждая работа была проанализирована независимо двумя исследователями с привлечением третьего в спорных вопросах.

Результатом второго этапа явился отбор 23 ключевых статей (табл. 1), соответствующих цели планируемого обзора, а также содержащих информацию, необходимую для ответа на поставленный исследовательский вопрос. Список рассмотренных в данных публикациях технологий отражен в табл. 2.

 

Таблица 2. Cписок рассмотренных в обзоре медицинских информационных технологий (МИС)

№	Описанные в статьях МИС	Название МИС на русском языке	Описание технологии
1	Electronic Health Records (EHR) / Personal Health Records (PHR) / Electronic Patient Record (EPR) system / Electronic Medical Records (EMRs)	Электронные медицинские карты	Информационная система, обеспечивающая электронный формат ведения персональной медицинской документации пациентов медицинского учреждения
2	Health Information Exchange (HIE)	Система внешнего документооборота	Информационная система, призванная обеспечить обмен информацией и документооборот между двумя и более медицинскими организациями
3	Clinical Decision Support System (CDSS) / Clinical Decision Support (CDS)	Клиническая система поддержки принятия решений	Система сбора и анализа клинической информации для вычисления наиболее эффективных вариантов дальнейшей тактики ведения конкретного пациента
4	Electronic Health Care Predictive Analytics (e-HPA)	Электронная система прогнозирования наступления клинических событий	Комбинация медицинских ИТ, в совокупности позволяющих использовать, модицифировать и обновлять информацию о пациенте с целью прогнозирования наступления клинически значимых событий (например, неотложных состояний)
5	Mental Health Information System (MHIS)	МИС психического здоровья	Информационная система сбора, обработки и анализа информации о психическом здоровье населения, используемая психиатрическими службами
6	Imperial Antimicrobial Prescribing Application (IAAP)	Мобильное приложение помощи в назначении лекарственных средств	Данное мобильное приложение было разработано индивидуально под нужды медицинского учреждения с целью поддержки назначения антимикробной терапии. Оно включало системы поиска, выбора и расчета доз антимикробных лекарственных средств для разных групп населения
7	The Electronic Prescription Service (EPS) / Computerized Physician Order Entry (CPOE)	Система электронного заказа лекарственных средств	Данная система позволяет выписывать рецепты и заказывать необходимые пациенту лекарственные средства посредством электронного документооборота
8	Radiology Notification System (RNS) / Electronic Test Result Acknowledgement (RA) System	Электронная система оповещений о результатах клинических исследований	Система обеспечивает оповещение лечащего врача о важных обновлениях в результатах клинических пациентов
9	Patient Decision Aids (PtDAs)	Система поддержки принятия решений для пациентов	Данная система приводит данные касательно различных вопросов о личном здоровье и помогает пациентам принять решение о дальнейших действиях
10	Natural Language Processing (NLP) system	Система распознавания текста	Данная технология способна распознавать рукописный текст и автоматически переводить его в электронный формат
11	Critical Care Information System (CCIS)	МИС для отделения неотложной помощи	МИС, разработанная под нужны отделения неотложной помощи
12	Electronic Maternal Health Care Forms for mHealth	Мобильные формы опроса относительно материнского здоровья	Мобильное приложение, содержащее формы для опроса пациенток, обращающихся за медицинской помощью в связи с беременностью и материнством
13	Electronic and Systematic Staff Scheduling (e-rostering) system	Электронное расписание врачей	Система электронного планирования и распределения рабочих смен медицинского персонала
14	Electronic Patient Journey Board (EPJB)	Система трекинга пациента	Электронная система отслеживания перемещений пациента внутри медицинского учреждения

 

На третьем этапе осуществлялись комплексный анализ финальных статей, поиск закономерностей, формирование выводов и написание обзора. Процесс поэтапного отбора статей отражен на диаграмме установленного формата PRISMA-P (рис. 1).

 

Рис. 1. Процесс поэтапного отбора статей, диаграмма PRISMA-P

 

Результаты

Систематизация результатов была проведена в соответствии с основными этапами внедрения новой ИТ-технологии в медицинское учреждение, которые прослеживались в отобранных публикациях, а именно: разработка технологии, планирование внедрения, пилотирование проекта, интеграция в повседневный рабочий процесс, комплексная оценка на каждом этапе (рис. 2).

 

Рис. 2. Этапы внедрения новой ИТ-технологии в медицинскую среду

 

Важно отметить, что на каждом из выделенных этапов могут возникнуть барьеры, препятствующие успешной интеграции нового продукта в существующий рабочий порядок. Тем не менее часто не представляется возможным провести четкую границу между названными этапами, ведь такие барьеры могут встречаться повсеместно в разной степени: будет неверно сказать, что конкретный барьер строго характерен для конкретного этапа. Однако определенные закономерности все же прослеживаются (рис. 3).

 

Рис. 3. Основные барьеры, препятствующие успешной интеграции технологии

 

Разработка технологии и планирование ее внедрения

Пренебрежение планированием и мультидисциплинарным подходом. Этап разработки, планирования и построения стратегии внедрения ИТ в учреждение представляет собой теоретически направленный процесс, но в то же время он не должен происходить в отрыве от практического опыта и повседневной рутинной работы, в особенности от его ключевых пользователей — медицинского персонала. Такой вывод подтверждается наблюдениями M.M. Yusof [13], описавшей процесс внедрения и адаптации клинической информационной системы для отделений реанимации и интенсивной терапии (Critical Care Information System, CCIS) в центре третичной медицинской помощи в Малайзии. Оказалось, что ключевым препятствием для успешной интеграции ИТ-системы явилось прежде всего недостаточное системное планирование c учетом рекомендаций будущих пользователей. В частности, к планированию внедрения CCIS в медицинскую организацию не привлекались врачи и медицинские сестры, их потребности не были тщательно выявлены и структурированы, а следовательно, эффективно удовлетворены [13].

Описанный подход, лишенный качественного планирования с коллегиальной его оценкой, отрицательно влияет на все этапы — разработку, установку и внедрение нового продукта, что приводит к негативному восприятию многообещающей технологии при практическом ее использовании. С целью обеспечения максимальной эффективности интегрируемой системы крайне важно обеспечить полное вовлечение заинтересованных сторон на всех этапах. Важность такого подхода подчеркивают J. Harvey et al., наблюдавшие за интеграцией системы электронных рецептов и электронных заказов лекарственных средств (The Electronic Prescription Service release Two, EPS2) в английских госпиталях [14]. Ключевой проблемой, препятствующей успешному внедрению, оказалось несоответствие предложенного дизайна и интерфейса базовым запросам пользователей, что заставляло искать способы адаптировать ее к соответствующим потребностям уже непосредственно в процессе использования [14]. Крайне важно выявлять потребности пользователей посредством их активного привлечения еще на этапе разработки продукта, ведь внесение критических изменений уже на этапе апробации — процесс дорогостоящий, а порой и невозможный.

Совсем иначе происходит интеграция новой технологии в медицинскую среду, когда этап планирования тщательно выверен, а к разработке плана внедрения привлекаются будущие пользователи. Благодаря многопрофильной команде экспертов в сфере ИТ, менеджмента, организации здравоохранения и практикующих клиницистов предстоящую имплементацию электронных медицинских карт (Electronic Health Records, EHR) в г. Эр-Рияде (Саудовская Аравия) удалось рассмотреть наиболее комплексно и предвосхитить потенциальные ошибки: в частности, был разработан план ее внедрения как в государственные и частные учреждения, так и в организации различного масштаба и специализации. После непосредственной его реализации авторы установили ряд закономерностей, характерных для процессов адаптации новой технологии к повседневному рабочему процессу, а главной рекомендацией вновь стала необходимость мультидисциплинарного подхода на всех этапах работы [15].

Важным дополнением к мультидисциплинарному подходу является позитивное командное видение продукта разработчиками, организаторами и исполнителями, а также осознание важности его внедрения и соответствия ключевым потребностям медицинского учреждения, именно эти элементы, по мнению S. Wells et al., способствуют эффективному внедрению продукта в устоявшуюся систему [16].

Позитивное отношение будущих пользователей к идее цифровизации рабочего процесса, как уже было сказано, является ключевым фактором успеха интеграции ИТ-продукта. Для формирования положительного настроя важно подчеркнуть основные достоинства нововведения и постараться предупредить возможные трудности при его пилотировании, в противном случае первое отрицательное впечатление может не позволить перейти к следующим этапам. Интересно, что негативная оценка предлагаемой инновации со стороны пользователей чаще всего объясняется необходимостью выполнять дополнительный объем работы.

Участники исследования, посвященного внедрению информационной системы по психическому здоровью (Mental Health Information System, MHIS) в одном из госпиталей Ганы, отмечали, что цифровизация была в большей степени обременительной, нежели полезной. Данный факт был связан с необходимостью дублировать работу из-за полуавтоматизированного характера информационной системы: информация о пациенте на первом этапе собиралась врачами и медицинскими сестрами с использованием бумажных носителей, а затем вручную вводилась в электронные базы данных. Очевидно, что объем нагрузки на персонал лишь увеличивался, что, в свою очередь, приводило к снижению полноты и точности вводимой информации. Важно отметить, что информационная система вводилась в таком гибридном режиме в связи с ограниченным числом компьютеров, имеющихся в больнице (отсутствие материально-технической базы), что еще раз подчеркивает факт тесной взаимосвязи между описываемыми нами барьерами и необходимостью комплексной работы для их преодоления [17].

С аналогичной проблемой столкнулись специалисты Сиднейского госпиталя в период внедрения системы оповещений о готовности результатов исследований методов лучевой диагностики [18]. В связи с недостаточной организацией служебной коммуникации между врачами-рентгенологами и лечащими врачами пациентов на этапе разработки данные о пациенте и о направившем его враче приходилось дублировать в бумажный журнал, что вызывало негативные реакции со стороны участвующего в процессе внедрения персонала, описывающего такую ситуацию как «излишние бумажные хлопоты». В другой публикации 78,3% респондентов посчитали электронные формы опроса для пациентов (дублирующие информацию, вносимую в аналогичные бумажные бланки) пустой тратой времени, чем объяснили свою низкую мотивацию к их использованию [19].

Необходимость дублировать данные повсеместно встречается в пилотных исследованиях, однако важно учитывать, что дополнительная работа, создаваемая для клиницистов в период адаптации нового ИТ-продукта, часто негативно сказывается на его восприятии. Для пользователей часто неочевидно, что при непосредственной интеграции технологии в рабочий процесс необходимость дублировать информацию отпадет, поэтому стоит обращать внимание пользователей на этот факт еще на начальных этапах разработки и планирования интеграции ИТ-технологии.

Очевидно, что невозможно полностью предвосхитить все сложности и устранить их еще на ранних этапах, однако пренебрежение планированием и мнением разнопрофильных специалистов, в том числе и потенциальных пользователей, может привести к отрицательному результату внедрения даже самой многообещающей инновации.

Ограниченное использование единых информационных стандартов (data standarts) и функциональная несовместимость медицинских ИТ-платформ. Важный аспекту спешного внедрения — унификация данных на первых этапах разработки медицинских информационных технологий. К примеру, в ходе интеграции системы обмена медицинскими данными (Health Information Exchange, HIE) в нескольких клиниках штата Нью-Йорк участники столкнулись с недостаточным использованием единых информационных стандартов на этапе разработки системы [20]. Проблема стала очевидной, когда была предпринята попытка включить полученные с помощью системы данные в электронные медицинские карты (Personal Health Records, PHR) для дальнейшего анализа. Оказалось, что лабораторные данные крайне редко были закодированы в соответствии с универсальным стандартом LOINC (Logical Observation Identifiers Names). Это значительно усложнило процессы стандартизации имеющейся информации, ее эффективного обмена и дальнейшей интеграции в рутинный процесс.

Другой иллюстрацией данного барьера служит случай адаптации системы распознавания текста вместо используемого ручного метода ведения документации для наблюдения в реальном времени за возникновением катетер-ассоциированной инфекции мочевыводящих путей. Одним из препятствий, выявленных в данном пилотном исследовании, оказалось отсутствие межведомственной стандартизации документов, в которых фиксируются изучаемые параметры, к примеру длительность уретральной катетеризации. Внедрение алгоритма с недостаточной унификацией данных, по мнению авторов, возможно в рамках одного лечебного учреждения, однако эффективная массовая адаптация такой технологии и полноценный обмен данными между организациями представляются маловероятными [21].

К аналогичному выводу пришли R. Amarasingham et al., анализируя внедрение электронной системы прогнозирования наступления клинических событий (Electronic Health Care Predictive Analytics, e-HPA). Согласно их наблюдениям, именно функциональная совместимость различных медицинских платформ и возможность обмена данными между ними позволят масштабировать новый продукт в систему здравоохранения. Подчеркивается, что эту особенность важно принимать во внимание еще на ранних этапах создания системы, применяя единые информационные стандарты для успешного подключения предлагаемого решения к уже функционирующей ИТ-системе учреждения [22].

Отсутствие соответствующей материально-технической базы и финансирования. Интеграция новой ИТ-разработки в устоявшийся порядок дел представляет собой комплексный и многоступенчатый процесс. Одно из первостепенных и базовых мероприятий, которое необходимо провести на этапе планирования, — это реалистичная экспертная оценка материально-технической базы учреждения. Несоответствие технического оснащения может явиться значительным барьером и вызвать критические проблемы для рутинного использования данной технологии.

L. Kpobi et al. описали проблему недостаточного обеспечения материальной базой Аккорской психиатрической больницы при интеграции МИС электронного документооборота. Суммарно клинике были предоставлены три новых компьютера и наборы программного обеспечения к ним, чего оказалось критически недостаточно для удовлетворения информационных потребностей больницы: поток входящих данных превышал фактические технические возможности. Кроме того, повышенная нагрузка на электрическую сеть здания вызвала появление перебоев электропитания компьютеров, послужив причиной значительной задержки работы МИС [17]. Без сомнения, важнейшим этапом при планировании внедрения новой МИС является объективная оценка материально-технической базы учреждения и при необходимости улучшение отстающих технических характеристик учреждения. При этом важно комплексно учитывать возможные препятствия в перспективе, к примеру нестабильные источники питания, износ оборудования и техническое обслуживание.

Кроме того, на этапе оценки технического обеспечения и обслуживания учреждения важно также принять во внимание необходимость присутствия бесперебойного интернет-покрытия территорий медицинского учреждения, где планируется внедрение технологии. В частности, E. Charani et al. акцентировали внимание на барьере, связанном с потребностью высокоскоростного интернет-соединения на всей территории учреждения для полноценного обновления и функционирования мобильного приложения для рационального назначения антибактериальной терапии. Клиника не была способна обеспечить пользователей качественным бесперебойным интернет-потоком (Wi-Fi) на территории всего учреждения, в связи с чем у ряда пользователей возникли технические сложности с обновлением системы и, как следствие, обеспечением актуальной версией программы [23].

Таким образом, серьезным техническим аспектом на организационном уровне в связи с современными характеристиками ИТ является удовлетворение базовых потребностей в качественном интернет-соединении учреждения.

Неочевидным барьером послужил недостаток физического пространства для установки дополнительного оборудования. В одной из публикаций отмечается, что порой непросто найти дополнительное место для компьютеров и другого оборудования (например, компьютерных мониторов, кабелей, переходников и разветвителей) и организовать рабочее пространство соответствующим образом. Подобного рода трудности могут явиться факторами индивидуального непринятия технологии пользователями и организаторами, что в итоге скажется на общем результате внедрения ИТ. Проблему может решить выбор более компактных и мобильных устройств (например, ноутбуков вместо стационарных компьютеров); при этом важно помнить про технические характеристики устройств и делать осознанный выбор между занимаемым физическим пространством и работоспособностью компьютеров. Положительным фактором здесь выступит физическое пространство, занимаемое хранимыми бумажными носителями: переход на использование электронных записей потенциально может освободить его [24].

Затраты на внедрение ИТ в медицинские организации — важная проблема, особенно для небольших и частных клиник, поскольку финансовые ресурсы, необходимые для приобретения и обслуживания технологии, могут быть значительными, а большинство клиник, как правило, не получают дополнительного финансирования на подобные цели. Многие медицинские организации и врачи не считают необходимым тратить деньги на инновационные технологии, поскольку цифровизация не является приоритетом для ограниченного бюджета учреждения. Высокая стоимость — одна из ключевых причин нежелания администрации обновлять или заменять старые компьютеры, даже если последние были слишком медленными для запуска внедряемой технологии [24].

Подобный отказ от модернизации техники может привести, с одной стороны, к проблемам со стороны самой технологии (которая становится нестабильной и ненадежной на недостаточно мощном оборудовании), а с другой — к проблеме нарушения рабочего процесса в связи с замедлением работы информационной системы. Поиск дополнительных финансовых вложений в клинику может послужить потенциальным решением данной проблемы. Внедрение системы электронных медицинских карты условиях низких ресурсов свидетельствует о необходимости не только дополнительных источников финансирования для успешного запуска и поддержания стабильности новой технологии, но и тщательного бизнес-планирования для комплексной оценки общей стоимости технологии и последующих издержек (текущие расходы, износ оборудования, обновление программного обеспечения, поддержка пользователей и т.д.), что редко претворяется в реальности [25]. Вместе с тем возможно перераспределение уже имеющегося бюджета учреждения, однако в данном случае важно понимать необходимость информационной работы с врачами и администрацией для повышения доверия к технологии и обеспечения понимания ценности компьютеризации. Это может быть достигнуто путем акцентирования таких преимуществ, как облегчение ежедневной работы за счет электронных записей и обмена информацией, улучшение качества помощи пациентам и медицинского обслуживания, возможность совместного использования электронных записей, а также упрощенная преемственность медицинской помощи [24].

Недостаточное делегирование обязанностей и служебное взаимодействие. Помимо необходимости учитывать уже имеющиеся материально-технические возможности учреждения, еще на этапе планирования важно грамотно распределить обязанности персонала, принимающего участие в процессе пилотирования проекта. Решение об экспериментальном внедрении новой ИТ в выбранное медицинское учреждение должно быть поддержано стратегическими сессиями и обсуждением бесперебойного функционирования новой организационной системы в рамках существующего рабочего порядка и уже используемых ИТ-решений. В частности, A.Georgiou et al. [26] подчеркивают необходимость простроить четкую иерархическую систему ответственности за использование полученных данных в процессе принятия клинических решений, предполагая назначение конкретных ответственных лиц. Отдельно следует проработать алгоритм оперативного «поднятия» процесса принятия решения на более высокий административный уровень ответственности в спорных и неясных ситуациях. Недостаточная адаптация электронных систем в медицинских учреждениях представляет собой потенциальную опасность значимого снижения эффективности передачи клинической информации, а соответственно, снижения качества оказываемой медицинской помощи.

Важно подчеркнуть роль эффективного служебного взаимодействия между администрацией и непосредственными пользователями в процессе интеграции электронной системы. Эффективное руководство на каждом уровне иерархической системы оказывает значительное влияние на его успешную реализацию. Важно, чтобы участники внедрения, занимающие управленческие должности, имели четкое видение необходимости внедрения инновации в рутинный процесс и могли транслировать свое позитивное восприятие связанному с ними персоналу. Прочная коммуникационная связь между всеми уровнями иерархической системы выступает одним из основных факторов успеха для преодоления психологического дискомфорта, связанного с переменами в рабочем процессе. Именно коллегиальное сотрудничество с определением круга ответственных за отчетность лиц позволит обеспечить эффективный мониторинг внедрения [27].

Экспериментальное внедрение и интеграция в повседневный рабочий процесс

Так или иначе, невозможно предугадать все трудности, с которыми могут столкнуться администрация и работники медицинского учреждения, на базе которого происходит внедрение нового ИТ-продукта. Часто такие барьеры связаны с пользовательскими или социальными факторами и становятся очевидными уже в процессе работы, что требует оперативного их устранения.

Некачественное предварительное обучение и отсутствие технической поддержки. Данный барьер тесно взаимосвязан с недостаточным планированием, поэтому еще на первых этапах важно помнить, что значимым фактором положительного принятия новой технологии является индивидуализированное, гибкое и спланированное обучение пользователей.

Очевидно, что недостаток такого предварительного обучения повсеместно влияет на рабочий процесс, изменяя ее объем и характер. С такой проблемой столкнулись фармацевты при апробации системы электронного заказа лекарственных средств в Великобритании, вынужденные выступать в новой и не всегда желанной роли «цифровых экспертов» для клиницистов, которые не были должным образом ознакомлены с техническими аспектами работы в предлагаемой ИТ-системе. Такая ситуация привела к значительному увеличению обращений к фармацевтам, что негативным образом сказывалось на качестве работы последних и снижало позитивное восприятие медицинской технологии, призванной облегчить существующие профессиональные трудности [28].

Другим примером может послужить работа австралийских авторов, в которой приведены данные интервьюирования ключевых участников внедрения госпитальной ИТ. Многие респонденты сообщили, что не знали, для чего необходимы внедряемая технология и данные, которыми она оперирует; они также утверждали, что система напрямую никак не повлияла на их повседневную работу. В результате сотрудники, которые полагали, что ИТ не помогает их рутинной работе напрямую, не позаботились о полном ее внедрении. Подобное ложное суждение было напрямую вызвано недостаточным или отсутствующим предварительным обучением пользователей [29].

Janols et al. также подчеркнули важность базового обучения и тренингов для качественной подготовки персонала: необходимо не только научить применению новой системы, но и отработать ее использование на существующих рабочих сценариях для успешной трансляции полученных навыков в реальные производственные условия [30].

Основательный подход к практическому обучению позволит значительно минимизировать сложности при взаимодействии медицинского персонала с технической составляющей. В данном контексте интересной с практической точки зрения представляется идея проводить соответствующие обучающие тренинги с сертификацией работников на предмет надлежащего использования новой технологии в рабочем процессе. Кроме того, не лишней, по мнению авторов, является разработка иллюстрированного руководства пользователя с наглядной инструкцией по использованию предложенного ИТ-продукта [19].

Важно отметить, что многие удачные примеры внедрения информационных систем здравоохранения часто ассоциированы с адекватным, обширным и непрерывным обучением, а также достаточной и оперативной поддержкой пользователей в режиме реального времени. Критическим моментом здесь является конфликт необходимости посещения обучающих сессий и плотного графика работы клиницистов. В связи с этим успешными могут стать решения, призванные разгрузить рабочий процесс за счет индивидуального распределения времени обучения пользователей, снижения рабочей нагрузки (постоянно или на период обучения) посредством найма дополнительных кадров и/или организации графика посменных тренингов [13].

В другом качественном исследовании пользователи указывают, что большой вклад вносят не только предварительное обучение, но и дальнейшая техническая поддержка с возможностью обратной связи. Всякий раз, когда клиницисты сталкивались с техническими затруднениями, особенно при отсутствии плановых тренингов, мотивация к использованию новой технологии закономерно снижалась. Своевременное техническое обслуживание разработчиками в соответствии с потребностями пользователей, по мнению авторов, позволит преодолеть данный барьер, что особенно актуально в период апробации новой технологии [24].

Недооценка «текучести кадров». Одним из выявленных барьеров является «текучесть кадров», тесно связанная с предыдущими пунктами: в случае частой смены персонала может произойти непринятие информационной системы в связи с отсутствующим или неполноценным обучением, а также малым опытом использования технологии. В частности, M.M. Yusof описала ситуацию, при которой время и ресурсы технической поддержки были недостаточными для покрытия потребностей клиники в условиях высокой текучести кадров. Частая смена персонала в процессе разработки ИТ-системы значимо влияет на итоговый результат — новые работники могут вносить поправки, идущие вразрез с мнением предыдущих пользователей, что потенциально может вызвать полную дестабилизацию всей системы. Подобная ситуация часто наблюдается в контексте быстрых управленческих изменений [13].

Таким образом, важными компонентами успешного внедрения и адаптации технологии на первых этапах является поддержание стабильной политики по следующим управленческим и кадровым направлениям: старший и средний медицинский персонал учреждения, реструктуризация рабочего места, а также фиксированный уровень рабочей нагрузки.

Пренебрежение социальными барьерами. Интересные с социальной точки зрения барьеры были отмечены при тестировании приложения для смартфона, помогающего клиницистам в рациональном назначении противомикробных средств (Imperial Antimicrobial Prescribing Application), от разработчиков из Империал Колледж Лондон в условиях крупных английских клиник. Некоторые медицинские работники, принимавшие участие в интервью, выразили нежелание использовать свои смартфоны в присутствии пациентов. Данные возражения были тесно связаны с негативными социальными реакциями относительно использования мобильных устройств в лечебном процессе. Однако на современном этапе нельзя отрицать роль смартфонов в качестве практичного и мобильного источника информации, позволяющего использовать такие необходимые в клинической работе инструменты, как карманные справочники, различные анкеты и чек-листы. Кроме того, разработка и имплементация новых мобильных приложений для всех участников лечебного процесса (администрации, врачей, медицинских сестер, пациентов), а также разъяснение пациенту важности использования такого оборудования со временем, вероятно, позволят устранить настоящий социальный барьер [23, 31].

Многие респонденты соглашаются с утверждением, что внедряемая ИТ-система призвана облегчить лечебный процесс и сэкономить временной ресурс для более длительного и качественного общения с пациентом. Однако по разным обстоятельствам может сложиться и обратная ситуация: к примеру, клиницисты, принимавшие участие в апробации системы поддержки принятия решений (Clinical Decision Support System, CDSS), обратили внимание, что использование CDSS вынуждает посвящать больше времени взаимодействию с компьютером, нежели общению с пациентом, что особенно заметно, когда технические возможности компьютера не позволяют использовать технологию так, как это было задумано разработчиками [32].

Недоверие пользователей к ИТ-технологиям. К данному барьеру мы хотели бы отнести два основных момента, отмеченных в выбранных публикациях: недоверие пользователей к качеству и актуальности информационных источников и обеспокоенность проблемой конфиденциальности персональных данных.

Участники одного из пилотных исследований поделились следующим наблюдением относительно использования компьютеризированной системы поддержки принятия решений в первичном звене: многие респонденты сомневались в надежности и актуальности источника контента, лежащего в основе данной технологии. Некоторые пользователи отметили, что они задавались, например, такими вопросами, как: какое влияние имеют фармацевтические компании на терапевтические рекомендации, а также как часто происходит обновление данных с учетом современной информационной нагрузки [32].

С проблемой устаревания информации столкнулись канадские исследователи при внедрении системы поддержки совместного принятия решений для хирургов и их пациенток, больных раком молочной железы. Специалисты, принимавшие участие в адаптации данной системы, отметили, что информация в предложенной компьютерной программе часто была устаревшей и в ней не были представлены многие современные методы диагностики и лечения, используемые в лечебном учреждении. Такое несоответствие требованиям актуальности используемых данных значительно снижало доверие и мотивацию врачей к ее дальнейшему применению в рутинной клинической практике [33].

В статье D. O’Mahony et al. описываются барьеры, выделенные в процессе общения с медицинскими сестрами одного из государственных госпиталей в Южной Африке в период имплементации EHR. Некоторые респонденты высказали свои опасения относительно существующего риска кражи используемого оборудования, что может как нанести материальные убытки учреждению, так и поставить под удар конфиденциальность персональных данных пациентов [31].

Проблема конфиденциальности данных беспокоит как врачей, так и пациентов, о чем свидетельствуют результаты исследователей из Национальной биоэтической комиссии Греции: среди 421 пациента и 225 врачей 48,8 и 58,1% соответственно беспокоятся о разглашении персональных данных в связи с использованием электронных медицинских ресурсов и о последующей стигматизации со стороны общественности. Тем не менее такие опасения не должны препятствовать успешной адаптации новой ИТ — соответственно 85 и 86% участников благосклонно относятся к идее внедрения предлагаемой технологии, ожидая, что польза превысит возможные риски [34].

Неудобный интерфейс и «технологическая усталость». Адаптация новой технологии под пользователей является первостепенной задачей, определяя удобство использования и понятный интерфейс ключевыми факторами для положительной оценки продукта. Внедряемая система может соответствовать мировым трендам, обладать множеством преимуществ, но если участникам рабочего процесса неудобно ее использовать, то с большой долей вероятности результат реализации будет отрицательным: «операция прошла успешно, но пациент умер» [30].

Важно отметить, что разрыв между рутинной практикой в исследуемом учреждении и интегрируемой компьютеризированной системой может быть значительным, но основным фактором непринятия выступит недружелюбный к пользователям интерфейс. Такую ситуацию описали специалисты из Нидерландов: врачи, принимавшие участие в интеграции системы поддержки принятия решений, отмечали избыточность функциональных возможностей системы. В частности, это касалось оповещений: они имели слишком высокую интенсивность, зачастую были неуместны, а также требовали дополнительного времени во время работы медицинского персонала с данной системой. Другой барьер был связан непосредственно с возможностью кастомизации предложенного пользователям интерфейса. Пользователи, находящиеся в непосредственном контакте с CDSS, отмечали, что им было бы гораздо комфортнее работать, если бы существовала возможность менять настройки уведомлений. Вероятно, если бы эти моменты были учтены заранее, степень удовлетворенности ключевых участников процесса была бы выше, что вновь подчеркивает важность мультидисциплинарного подхода [32].

Проблемы разработки удобного интерфейса и его соответствия привычному рабочему процессу негативно повлияли и на внедрение электронной доски перемещения пациентов (The Electronic Patient Journey Board, EPJB) в австралийских госпиталях. К примеру, такие, казалось бы, незначительные нюансы, как неправильное расположение электронной доски в рабочем пространстве, невозможность интерактивного отображения списка всех пациентов с необходимостью его «прокручивать» для поиска конкретного пациента, избыточный объем отображаемой информации или недостаточный размер дисплея EPJB, делали более предпочтительным для персонала использование обычной магнитно-маркерной доски. Отдельно был отмечен короткий интервал (15 мин) обновления EPJB, что, по мнению персонала, не является достаточным, ведь ситуация может стремительно поменяться в любой момент. Следовательно, отмечалось снижение доверия как к отображаемым данным, так и к IT-технологии в целом. Такая настороженность подкреплялась предыдущим, не всегда позитивным, опытом цифровизации на рабочих местах. Кроме того, по данным опроса, только лишь некоторые участники понимали глобальную цель внедрения электронной доски — облегчить рабочий процесс и служебную коммуникацию, а больше половины воспринимали нововведение как «очередную систему, с которой приходится справляться» [29].

В этом контексте будет уместно напомнить о явлении «технологической усталости» — данный термин был замечен в публикации австралийских специалистов. Интересно, что, несмотря на практичность и удобство в использовании внедряемого девайса, со стороны медицинского персонала было заметно «недоиспользование» ИТ-продукта. На основании качественного исследования эксперты пришли к выводу, что человек, взаимодействующий с большим количеством различных систем, ищет возможность получить информацию из ограниченного числа источников (например, если на электронной доске дублируется информация из электронной медицинской карты, то врач или медсестра предпочтут воспользоваться только медицинской картой, даже если электронная доска будет удобнее) [29].

Таким образом, ранее интегрированные системы скрывают все преимущества нового девайса, делая его адаптацию и дальнейшее использование нецелесообразным.

Такая проблема опять же объясняется ограниченным участием самих пользователей в процессе разработки, отсутствием специальных тренингов для обучения работе с новой технологией и невозможностью интеграции нескольких ИТ-технологий в единую комплексную платформу. Вероятно, использование новых возможностей уже знакомой и понятной в использовании системы будет доступнее для пользователей в сравнении с обучением «с нуля».

Национальная специфика и частные особенности медицинской среды. Несмотря на существование ряда общих закономерностей на разных этапах существования и интеграции нового ИТ-продукта в медицинскую среду, важно учитывать и частные аспекты: национальные особенности системы здравоохранения, тип населенного пункта, характер медицинской среды и взаимодействия «врач–пациент», менталитет, качество жизни медицинских работников и пациентов и т.д.

В данном систематическом обзоре мы сконцентрировали внимание на барьерах, но иногда особенности устройства системы здравоохранения могут способствовать успешному внедрению технологии. В период планирования масштабных объектов специалисты стремятся предусмотреть появление слабых мест, но случается, что такие проблемы на самом деле не являются барьерами в реальной жизни, а, напротив, ускоряют и облегчают темпы реализации задуманного. В частности, при внедрении системы ведения электронных медицинских записей в Саудовской Аравии эксперты ориентировались на опыт западных коллег и предполагали, что каждая отдельно взятая медицинская организация потребует разработки своего собственного плана действий (в зависимости от масштабов учреждения, места, где она находится (большой город или сельская местность), а также источников финансирования (государство или частные лица)). Однако опыт показал, что даже такая масштабная ИТ-система не всегда требует настолько детального подхода. Благодаря устройству национальной системы здравоохранения клиники в Саудовской Аравии достаточно сходны по многим параметрам. Именно эта особенность позволила практически безболезненно внедрить новую систему в большинство медицинских организаций без каких-либо изменений либо с минимальными поправками (например, масштабирование от большой клиники к малой) [15].

Другим актуальным вопросом является процесс цифровизации в сельской местности. Использование ИТ в условиях небольших деревень может осложняться рядом исключительных деталей, изучить которые без конкретного примера невозможно. В частности, одна из главных отличительных черт сельской местности — тесные контакты между населением. Как правило, медицинский работник, оказывающий помощь местному населению, знает всю информацию о состоянии здоровья каждого своего пациента. Это не может не оказывать определенного влияния на локальный документооборот — иногда записи оказываются неполными, когда врач считает что-то несущественным для добавления в историю болезни, но в случае необходимости будет всегда помнить о таких деталях. Такое неформальное ведение медицинских записей может значительно усложнить процессы внедрения электронного документооборота [35].

В определенных случаях некоторые аспекты человеческой жизни, в частности, будущих пользователей, интегрируемых ИТ, могут оказывать куда большее влияние на процесс внедрения, нежели можно было предположить. Причем увидеть такие изменения можно только в долгосрочной перспективе — спустя несколько месяцев или даже лет. По этой причине необходимо не только предварительное изучение ключевых стейкхолдеров, но и их исследование постфактум. В частности, после внедрения мобильного приложения на базе смартфонов в Эфиопии, дальнейшее исследование, проведенное спустя 6 мес, показало: несмотря на то, что сама технология показала себя как нельзя лучше (сбор данных, их учет, оборот документов, опрос пациентов — все эти процессы были оптимизированы благодаря новому методу), поведение врачей с началом использования смартфонов на рабочем месте изменилось не в лучшую сторону в связи с использованием предложенных гаджетов в личных целях [19]. Может ли эта проблема быть объяснена социальными особенностями конкретной страны, материальным положением жителей и пациентов или это лишь реакция на нововведение? Сейчас об этом говорить слишком рано.

Ограничения

Данный систематический обзор был выполнен в соответствии с критериями PRISMA и имел ряд следующих ограничений. Рассматривались публикации только на английском языке, в качестве поисковой системы был использован PubMed. В исследование были включены работы, опубликованные с 2014 по 2019 г., где пик публикационной активности пришелся на 2014–2015 гг., а далее пошел на спад. Из обзора исключались статьи, относящиеся к «серой литературе». Каждая публикация отсматривалась парой исследователей, однако это не исключает вероятности исключения статей, подходящих под параметры включения. Несмотря на все перечисленные ограничения, мы считаем, что проанализированные статьи, а также их количество являются репрезентативными, а сделанные выводы могут быть использованы в будущем.

Заключение

Вне зависимости от вида внедряемой ИТ, характеристик медицинского учреждения, на базе которого будет проводиться интеграция, а также культурно-социальных особенностей региона или страны процесс адаптации ИТ всегда будет включать три последовательные фазы — разработку, экспериментальное внедрение и последующее рутинное использование. Причем на каждом из этих этапов будут встречаться барьеры, имеющие свои отличительные особенности и закономерности. Данный обзор обобщает все выявленные барьеры, а также позволяет сформулировать ряд рекомендаций, которые будут полезны для процессов интеграции ИТ в будущем.

Дополнительная информация

Источник финансирования. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-11-00001.

Конфликт интересов. Авторы заявляют об отсутствии явного и потенциального конфликта интересов, связанного с публикацией данной рукописи.

Участие авторов. А.А. Михайлова, А.К. Ефимова — участие в первичном скрининге публикаций, анализ полученных данных, написание текста и редактирование рукописи; А.В. Шестаков — разработка дизайна исследования, обзор научных публикаций по данной тематике и их анализ, написание текста; А.А. Бобрышева, Е.А. Мотлохова—первичный скрининг публикаций, анализ полученных данных; О.И. Звонарёва — предоставление экспертной оценки по изучаемому вопросу, координация процесса исследования. Все авторы внесли существенный вклад в проведение поисково-аналитической работы и подготовку статьи, прочли и одобрили финальную версию перед публикацией.

Выражение признательности. Авторы выражают благодарность Российскому фонду фундаментальных исследований за поддержку исследовательского проекта и предоставление финансирования на публикацию рукописи; ФГБОУ ВО «Сибирский государственный медицинский университет», г. Томск, на базе которого проходило исследование, а также САЕ «Интегративные подходы к общественному здоровью и здравоохранению» за работу над данной проблематикой и предоставление возможности самостоятельно исследовать вопросы, связанные с внедрением ИТ в здравоохранение; университету Маастрихта, Нидерланды, в частности доценту кафедры этики и здоровья, PhD О.И. Звонарёвой за научную консультацию в процессе исследования и написания статьи; Д.М. Лоосу и А.А. Рудко за оказание помощи в процессе первичного скрининга публикаций и их дальнейшего изучения.

Об авторах

Арина Алексеевна Михайлова

Сибирский государственный медицинский университет

Автор, ответственный за переписку.
Email: armikhaylova@yandex.ru
ORCID iD: 0000-0001-6066-3525

Студент 6 курса лечебного факультета СибГМУ, учебный ассистент профессора кафедры факультетской терапии с курсом клинической фармакологии

Россия, 634057, Томск, ул.79-й Гвардейской дивизии, д. 9В

Анастасия Константиновна Ефимова

Сибирский государственный медицинский университет

Email: anastasia.k.efimova@gmail.com
ORCID iD: 0000-0002-0404-0718

Студент 6 курса медико-биологического факультета СибГМУ, специальность "медицинская кибернетика"

Россия, 634057, Томск, ул.79-й Гвардейской дивизии, д. 9В

Александр Владимирович Шестаков

Сибирский государственный медицинский университет

Email: Shestakov1808@gmail.com
ORCID iD: 0000-0001-9648-8255
SPIN-код: 8668-6520

Аспирант кафедры факультетской терапии с курсом клинической фармакологии

Россия, 634057, Томск, ул.79-й Гвардейской дивизии, д. 9В

Анастасия Александровна Бобрышева

Сибирский государственный медицинский университет

Email: fourche@mail.ru
ORCID iD: 0000-0002-3970-5097
SPIN-код: 1492-6322

Студент 6 курса медико-биологического факультета СибГМУ, специальность "медицинская кибернетика"

Россия, 634057, Томск, ул.79-й Гвардейской дивизии, д. 9В

Елизавета Андреевна Мотлохова

Сибирский государственный медицинский университет

Email: emotlohova@gmail.com
ORCID iD: 0000-0001-7409-3770

Студент 3 курса медико-биологического факультета СибГМУ, специальность "медицинская биохимия"

Россия, 634057, Томск, ул.79-й Гвардейской дивизии, д. 9В

Ольга Игоревна Звонарёва

Сибирский государственный медицинский университет; Университет Маастрихта

Email: o.zvonareva@maastrichtuniversity.nl
ORCID iD: 0000-0001-5548-7491
SPIN-код: 9145-4513

научный сотрудник СибГМУ, доцент кафедры здоровья, этики и общества Университета Маастрихта

Россия, 634057, Томск, ул.79-й Гвардейской дивизии, д. 9В ; Маастрихт, Нидерланды

Список литературы

Дополнительные файлы