Development and Validation of the One-Factor Questionnaire “Patient Satisfaction with Medical Care”
- Authors: Сhargaziya L.D.1, Shelegova D.A.1, Vyskochkov V.S.1, Tyufilin D.S.1, Shibalkov I.P.1, Deev I.A.1, Kobyakova O.S.1
-
Affiliations:
- Russian Research Institute of Health
- Issue: Vol 78, No 3 (2023)
- Pages: 185-193
- Section: HEALTH CARE MANAGEMENT: CURRENT ISSUES
- Published: 03.07.2023
- URL: https://vestnikramn.spr-journal.ru/jour/article/view/2254
- DOI: https://doi.org/10.15690/vramn2254
- ID: 2254
Cite item
Full Text
Abstract
Background. One of the most viral principles in the development of modern healthcare is patient-oriented approach — providing a medical care considering citizens’ expectations; ensuring individual approach in solving their personal problems. One of the most important markers for assessing patient-oriented health care provision is patient satisfaction with medical care. Aims — the aim of our study was to develop and validate a tool to assess this indicator in the Russian Federation. Methods. A total of 3012 people between the ages of 18 and 83 took part in the study. The ratio of males to females in the sample was approximately 1:1 (1501 females to 1511 males). Quantitative methods were used to conduct the analysis. Construct validity was assessed using exploratory and confirmatory factor analyses (EFA and CFA, respectively) with appropriate assessment of goodness-of-fit. Reliability and internal consistency of the instrument measuring patient satisfaction with medical care was assessed using Cronbach’s alpha. Results. The study involved 3012 people aged 18 to 83 years. The ratio of men to women in the sample was approximately 1:1 (1501 women and 1511 men). The proportion of urban residents who took part in the study was 67.2%, rural — 32.8%. Less than a month ago, 22.0% of respondents received medical care for the last time; from one to three months — 22.7%; four to six — 29.1%; from seven to twelve — 16.7%; more than a year ago — 9.5%. The services of private medical organizations were used by 12.3% of the study participants, state — 87.7%. The use of confirmatory factor analysis demonstrated the acceptability of a one-factor solution and confirmed the structural validity of the developed tool. The reliability and internal consistency of the patient satisfaction measurement tool was assessed using Cronbach’s alpha. Cronbach’s alpha showed “excellent” internal domain consistency (> 0.9). Bartlett’s sphericity criterion was met (p-value < 0.001). Conclusion. The conducted statistical analysis allows us to assert the acceptability of the one-factor model and the construct validity of the proposed tool.
Full Text
Обоснование
Одно из наиболее актуальных вызовов и принципов развития современного здравоохранения — пациент-ориентированность, т.е. учет ожиданий граждан при получении медицинских услуг, обеспечение индивидуального подхода при решении их персональных проблем. Удовлетворенность пациентов медицинской помощью — комплексный показатель, который отражает степень соответствия медицинской помощи, условий и сроков ее оказания ожиданиям пациента, его представлениям о должной доступности и качестве медицинской помощи, а также о том, как должна функционировать медицинская организация и система здравоохранения в целом.
Оценки удовлетворенности пациентов проводятся по всему миру, как в развитых, так и развивающихся странах, и, хотя опыт зарубежных исследований, безусловно, должен быть учтен, имеющиеся кросс-культурные и кросс-институциональные особенности не позволяют валидировать зарубежные инструменты на территории нашей страны.
В разное время в Российской Федерации вопросами изучения удовлетворенности пациентов занимался ряд учреждений: Федеральный фонд обязательного медицинского страхования, Министерство здравоохранения Российской Федерации, Федеральная служба государственной статистики, Всероссийский центр изучения общественного мнения, Национальный исследовательский университет «Высшая школа экономики» и др. К сожалению, представленные этими организациями подходы не имели системного применения, что стало серьезной проблемой, так как полученные данные не могли быть использованы ни для долгосрочного мониторинга показателя, ни для лонгитюдных исследований. Кроме того, многие из перечисленных методик не были должным образом валидированы и представляли собой разного рода анкеты с произвольным набором вопросов, что ставит под сомнение прикладную полезность и надежность результатов.
Для формирования корректных методологических основ опросника изучен зарубежный и отечественный опыт концептуализации понятия «удовлетворенность населения медицинской помощью», теории объяснения психосоциальных детерминант дефиниции, а также разработки инструментов, измеряющих удовлетворенность.
В настоящее время разработано множество теорий, которые основаны на разных психосоциальных детерминантах. Так, теория эффективности базируется на клиническом результате [1], теория выполнения — на опыте пациента, теория несоответствия — на ожиданиях. Согласно существующим концепциям, некоторые исследователи сформулировали определение удовлетворенности, в которых определяющими факторами выступают клинический результат и качество медицинской помощи [2], некоторые исследования концентрировались на личном опыте пациентов [3, 4], относительно которого строятся ожидания и потребности, другие — на ожиданиях пациентов, которые основаны на внутреннем ощущении потребности и нуждах [5]. Помимо общей концепции понятия удовлетворенности пациентов, а именно степени совпадения или несовпадения опыта, ожиданий, потребностей пациента с реальным предоставлением помощи, в зарубежной литературе встречаются более развернутые определения этой дефиниции, которые включают некоторые аспекты оказания медицинской помощи [6, 7].
В рамках данного исследования под удовлетворенностью пациентов медицинской помощью понимался комплексный показатель, отражающий степень соответствия медицинской помощи, условий и сроков ее оказания ожиданиям пациента, его представлениям о должной доступности и качестве предоставления медицинской помощи, а также о том, как должна функционировать медицинская организация. Данное определение основано на теории справедливости, которая говорит о том, что пациент воспринимает уровень оказания медицинской помощи относительно реальных возможностей медицинских организаций [8], а также теории несоответствия и теории выполнения, которая говорит о степени выполнения медицинской организацией потребностей пациентов исходя из их пережитого ранее опыта.
История изучения и измерения уровня удовлетворенности пациентов началась в 1970-х годах, однако широкое распространение подобные оценки нашли только в XXI в. [9]. Уже в 1970 г. Б.С. Халка и др. разработали шкалу удовлетворенности работой терапевта и звена первичной медицинской помощи (Satisfaction with Physician and Primary Care Scale) [10], которая включала восемь блоков тестируемых аспектов оказания медицинской помощи. В 1976 г. была разработана форма II Patient Satisfaction Questionnaire (PSQ), которая была намного короче и с успехом применялась самостоятельно [11]. Затем в США разработали опросник по удовлетворенности клиентов (Client Satisfaction Questionnaire, CSQ) для определения общего уровня удовлетворенности, который был дополнен опросником для оценки услуг (Service Evaluation Questionnaire) в 1984 г. [12].
В 2002 г. в США был разработан стандартизированный опрос для оценки уровня удовлетворенности пациентов медицинской помощью HCAHPS (Hospital Consumer Assessment of Healthcare Providers and Systems — Оценка медицинских услуг и систем пациентами стационаров) [13]. Последняя редакция этого опросника проведена в 2012 г., и теперь он состоит из 32 вопросов и предлагается стационарным пациентам после выписки. В Ирландии существует опросник SWOPS (Satisfaction with Outpatient Services – Удовлетворенность амбулаторной помощью), разработанный в 2003 г. В Европе на государственном уровне широко используется опросник PPE-15 (Picker patient experience — Опыт пациента по Пикеру), который состоит из 15 вопросов. В Великобритании Национальное агентство по здравоохранению (National Health Service, NHS) обязало проводить контроль качества оказания медицинской помощи посредством PPE-15 ежегодно во всех медицинских организациях. Параллельно также в Швейцарии местное управление по улучшению качества рекомендовало использовать опросы в целях сбора данных по оказанным медицинским услугам [14].
Представленный зарубежный и отечественный опыт позволил исследовательской команде составить универсальный опросник для определения уровня удовлетворенности медицинской помощью всех пациентов вне зависимости от типа получаемой ими помощи и спектра услуг, которыми они пользовались (разработанная анкета представлена в приложении).
Первые пять вопросов анкеты направлены на определение основных социально-демографических характеристик участников исследования. Одиннадцать последующих вопросов освещают соответствующие им домены: возможность своевременной записи на прием, общее время ожидания помощи, время ожидания помощи в организации, уровень комфорта в организации, отношение персонала, объяснение лечения, соответствие организации ожиданиям, решение медицинской проблемы, отсутствие осложнений в ходе лечения, лояльность к организации и общая удовлетворенность. Открытый вопрос анкеты позволяет респондентам при желании дополнить свой ответ. Текстовая вставка, следующая после четвертого вопроса, дает возможность сконцентрировать внимание участников исследования на конкретном кейсе в опыте получения медицинской помощи, упрощая дальнейшее прохождение анкеты.
В рамках разработки опросника мы преследовали цель добиться того, чтобы все вопросы анкеты были связаны между собой и освещали единый теоретический конструкт — удовлетворенность пациентов медицинской помощью.
Содержательная валидность разработанной анкеты и релевантность вопросов изучаемой проблематике были подтверждены 15 экспертами в сферах организации здравоохранения, психологии, антропологии, социологии и экономики. После этого опросник заполнили 20 респондентов, не имеющих отношения к медицинской или академической среде, с последующим интервью относительно понятности формулировок вопросов. Результаты продемонстрировали необходимость минорных корректировок в формулировках, которые были выполнены перед проведением основного этапа работы по валидации инструмента.
Цель исследования — разработка и валидация инструмента для оценки уровня удовлетворенности населения медицинской помощью в Российской Федерации.
Методы
Дизайн исследования
В рамках формирования дизайна исследования проведен обзор литературы по исследуемому вопросу, сформирована теоретическая база и цель исследования. На основе собранной базы разработан опросник удовлетворенности медицинской помощью. Для формирования списка вопросов использованы официально применяемые в других странах инструменты (см. описанные ранее опросники), а также анкеты Фонда обязательного медицинского страхования и вопросы в рамках независимой оценки качества (см. приложение).
Приложение. Опросник «Удовлетворенность населения медицинской помощью»
№ п/п | Вопрос | Варианты ответов |
№ п/п | Вопрос | Варианты ответов |
1 | Укажите Ваш пол | 1. Мужской 2. Женский |
2 | Укажите Ваш возраст (количество полных лет) | Указывается со слов респондента |
3 | Ваш населенный пункт и регион | Указывается со слов респондента |
4 | В каких медицинских организациях Вы обычно получаете медицинскую помощь? | 1. Только в государственных (муниципальных) 2. Преимущественно в государственных (муниципальных) 3. Преимущественно в частных 4. Только в частных |
Пожалуйста, отвечайте на следующие вопросы, исходя из того типа медицинских организаций, которыми Вы пользуетесь чаще. То есть, если Вы получаете медицинскую помощь преимущественно в государственных (муниципальных) организациях, оценивайте Ваш опыт посещения государственной (муниципальной) организации, если в частных — частной | ||
5 | Как давно Вы в последний раз получали медицинскую помощь? | 1. Менее 1 месяца назад 2. От 1 до 3 месяцев назад 3. От 4 до 6 месяцев назад 4. От 7 до 12 месяцев назад 5. Более 12 месяцев назад |
6 | Насколько Вы согласны с утверждением, что сейчас Вы можете записаться к врачу в удобное для Вас время? | 1. Абсолютно не согласен 2. По большей части не согласен 3. Скорее не согласен 4. Скорее согласен 5. По большей части согласен 6. Абсолютно согласен |
7 | Насколько Вы удовлетворены временем ожидания медицинской услуги с момента возникновения потребности в медицинской помощи до момента ее получения? | 1. Абсолютно не удовлетворен 2. По большей части не удовлетворен 3. Скорее не удовлетворен 4. Скорее удовлетворен 5. По большей части удовлетворен 6. Абсолютно удовлетворен |
8 | Насколько Вы удовлетворены временем ожидания приема врача-специалиста (непосредственно перед кабинетом)? | 1. Абсолютно не удовлетворен 2. По большей части не удовлетворен 3. Скорее не удовлетворен 4. Скорее удовлетворен 5. По большей части удовлетворен 6. Абсолютно удовлетворен |
9 | Насколько комфортным было Ваше пребывание в медицинской организации (комфортность зон ожидания, комфортное перемещение внутри медицинской организации)? | 1. Абсолютно некомфортным 2. По большей части некомфортным 3. Скорее некомфортным 4. Скорее комфортным 5. По большей части комфортным 6. Абсолютно комфортным |
10 | Насколько Вы удовлетворены отношением к Вам со стороны медицинских работников (врачей, медицинских сестр, регистраторов, санитаров)? | 1. Абсолютно не удовлетворен 2. По большей части не удовлетворен 3. Скорее не удовлетворен 4. Скорее удовлетворен 5. По большей части удовлетворен 6. Абсолютно удовлетворен |
11 | Удовлетворены ли Вы тем, как врач объяснял Вам, зачем назначены то или иное лечение, лекарственный препарат, диагностическая процедура? | 1. Абсолютно не удовлетворен 2. По большей части не удовлетворен 3. Скорее не удовлетворен 4. Скорее удовлетворен 5. По большей части удовлетворен 6. Абсолютно удовлетворен |
12 | Насколько результат Вашего обращения в медицинскую организацию соответствовал Вашим ожиданиям? | 1. Абсолютно не соответствовал 2. По большей части не соответствовал 3. Скорее не соответствовал 4. Скорее соответствовал 5. По большей части соответствовал 6. Абсолютно соответствовал |
13 | Была ли решена Ваша медицинская проблема? | 1. Да 2. Нет 3. Затрудняюсь ответить |
14 | Столкнулись ли Вы с осложнениями болезни в ходе лечения или после выписки? | 1. Да 2. Нет 3. Затрудняюсь ответить |
15 | Вы бы посоветовали близким друзьям или родственникам обращаться за медицинской помощью в медицинскую организацию, в которой Вы получаете медицинскую помощь? | 1. Ни в коем случае не посоветовал бы 2. Не посоветовал бы 3. Скорее не посоветовал бы 4. Скорее посоветовал бы 5. Посоветовал бы 6. Обязательно посоветовал бы |
16 | Оцените, насколько в целом Вы удовлетворены медицинской помощью? | 1. Абсолютно не удовлетворен 2. По большей части не удовлетворен 3. Скорее не удовлетворен 4. Скорее удовлетворен 5. По большей части удовлетворен 6. Абсолютно удовлетворен |
17 | Что Вы можете назвать наибольшей проблемой в процессе получения медицинской помощи? | Указывается со слов респондента |
18 | Скажите, пожалуйста, показались ли Вам какие-то вопросы сложными или непонятными? | Указывается со слов респондента |
Перед валидацией с использованием стандартных статистических методов опросник апробирован на малых экспертных группах на предмет содержательной валидности. Затем проведен телефонный опрос необходимого числа респондентов в Липецкой области, а полученные данные проанализированы при помощи EFA и CFA с использованием кросс-валидации.
Критерии соответствия
Критериями невключения респондентов в исследование стали:
- возраст респондентов менее 18 лет;
- продолжающийся на момент опроса контакт респондентов с медицинской организацией ввиду возможности возникновения смещений.
Условия проведения
Для проведения основной части исследования был выбран пилотный регион — Липецкая область, где посредством случайного телефонного опроса собраны данные для проведения последующего анализа. Важно отметить, что классические валидационные исследования не преследуют цель экстраполяции результатов на некоторую генеральную совокупность, а лишь обосновывают наличие внутренних связей доменов в валидируемых инструментах, что позволяет выборке быть нерепрезентативной.
Продолжительность исследования
Разработка тестируемой версии опросника заняла 3 мес, продолжительность сбора данных для проведения опросного валидационного исследования — 1 мес. Анализ данных проводился коллективом авторов в течение 2 нед.
Этическая экспертиза
Одобрено заключением этического комитета по экспертизе социологических исследований в сфере общественного здравоохранения при ФГБУ «ЦНИИОИЗ» Минздрава России № 6/2021 от 15 июня 2021 г.
Статистический анализ
Принципы расчета размера выборки. При проведении исследования использовалась стратифицированная выборка, сформированная методом рандомизации, с равной репрезентацией половозрастных групп внутри городских и сельских населенных пунктов с соотношением городских и сельских респондентов в выборке 2:1. Источник формирования выборки — регистр застрахованных граждан в системе обязательного медицинского страхования Липецкой области. Опрос проводился региональным колл-центром, сотрудники которого имеют право доступа к персональной информации из регистра, что обеспечивало ее сохранность и анонимность в рамках настоящего исследования. Важно заметить, что такой подход делает выборку намеренно непрезентативной в отношении региона, однако позволяет с большой долей уверенности говорить о внутренних связях в инструменте (поскольку объектом исследования является сам инструмент, а не удовлетворенность населения медицинской помощью).
При определении размера выборки мы следовали рекомендации [15] и, учитывая планируемую кросс-валидацию на двух случайных подвыборках, для максимизации робастности анализа приняли решение о необходимости опроса 3012 респондентов.
Методы статистического анализа данных. Анализ данных и диагностика результатов проводились с помощью языка программирования R, программной среды R Studio (версия 2022.07.2). Для проведения анализа использованы количественные методы. Конструктная валидность оценена при помощи исследовательского и подтверждающего факторного анализа EFA (Exploratory factor analysis) и CFA (Confirmatory factor analysis) соответственно). CFA был выполнен исходя из факторной структуры, предложенной EFA (и соответствующей нашему основному предположению об однофакторной модели удовлетворенности). Для непредвзятости анализа и демонстрации робастности факторной структуры выборка была случайным образом разбита на две равные подвыборки, одна из которых анализировалась с помощью EFA, а другая — с помощью CFA.
Перед проведением анализа при помощи меры адекватности выборки Кайзера–Мейера–Олкина (Kaiser–Meyer–Olkin test, KMO) и критерия сферичности Бартлетта нами протестированы основные необходимые предположения для продуктивного использования описанных методов.
При проведении EFA использовался классический факторный анализ с последующим применением неортогонального метода вращения oblimin. Число факторов в итоговом решении детерминировалось исходя из конвенционального порога eigenvalue (> 1) [16]. Порог важности переменных для дальнейшего анализа определялся факторной нагрузкой выше 0,30 [17].
Предложенная факторная структура исследована с помощью моделирования структурными уравнениями (Structural equation modeling, SEM) с использованием анализа пути. Для оценки адекватности итоговой модели применялся расчет коэффициентов CFI, TLI и RMSEA. Критерий хи-квадрат намеренно игнорировался ввиду его неинформативности при анализе больших выборок.
Надежность и внутренняя согласованность инструмента измерения уровня удовлетворенности пациентов медицинской помощью были оценены с помощью альфы Кронбаха.
Результаты
Объекты (участники) исследования
В исследовании приняли участие 3012 человек в возрасте от 18 до 83 лет, что предоставляет более чем достаточную мощность в рамках запланированного анализа. Соотношение мужчин к женщинам в выборке составило приблизительно 1:1 (1501 женщина и 1511 мужчин). Доля городских жителей, принявших участие в исследовании, — 67,2%, сельских — 32,8%.
Менее 1 мес назад в последний раз получали медицинскую помощь 22,0% респондентов; от 1 до 3 мес — 22,7%; от 4 до 6 мес — 29,1%; от 7 до 12 мес — 16,7%; более года назад — 9,5%.
Услугами частных медицинских организаций пользовались 12,3% участников исследования, государственных — 87,7%.
Описательная и корреляционная статистика по доменам опросника представлена в табл. 1.
Таблица 1. Корреляционная и описательная статистика по доменам опросника «Удовлетворенность пациентов медицинской помощью»
Домен | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
1. Запись на прием | — | ||||||||||
2. Общее ожидание помощи | 0,740 | — | |||||||||
3. Ожидание помощи в организации | 0,639 | 0,721 | — | ||||||||
4. Комфорт в организации | 0,593 | 0,676 | 0,693 | — | |||||||
5. Отношение персонала | 0,501 | 0,570 | 0,571 | 0,665 | — | ||||||
6. Объяснение лечения | 0,477 | 0,550 | 0,519 | 0,586 | 0,721 | — | |||||
7. Соответствие ожиданиям | 0,533 | 0,597 | 0,583 | 0,617 | 0,685 | 0,678 | — | ||||
8. Решение проблемы | 0,273 | 0,321 | 0,279 | 0,303 | 0,356 | 0,362 | 0,381 | — | |||
9. Осложнения | –0,214 | –0,239 | –0,245 | –0,238 | –0,232 | –0,277 | –0,283 | –0,359 | — | ||
10. Лояльность | 0,540 | 0,588 | 0,580 | 0,633 | 0,616 | 0,587 | 0,641 | 0,375 | –0,263 | — | |
11. Общая удовлетворенность | 0,572 | 0,632 | 0,610 | 0,649 | 0,673 | 0,616 | 0,692 | 0,423 | –0,288 | 0,727 | — |
Среднее значение и стандартное отклонение | 3,990 ± ± 1,440 | 4,213 ± ± 1,453 | 4,209 ± ± 1,489 | 4,501 ± ± 1,383 | 4,736 ± ± 1,282 | 4,640 ± ± 1,332 | 4,455 ± ± 1,286 | 0,871 ± ± 0,336 | 0,148 ± ± 0,355 | 4,402 ± ± 1,434 | 4,341 ± ± 1,258 |
Основные результаты исследования
Исследовательский факторный анализ. Для проведения EFA использовалась случайная подвыборка размером в 1506 респондентов (50% всех опрошенных). Количество полезных факторов определялось исходя из значения eigenvalue, графический метод «каменистой осыпи» Кеттела использовался в качестве дополнительного. Однофакторная структура оказалась значительно предпочтительнее двух- и более факторных: eigenvalue демонстрировал резкий убывающий тренд с 5,89 для первого фактора (объясняющего > 90% вариации) до 0,48 для второго фактора (описывающего менее 7% вариации). Результаты анализа представлены в табл. 2. Получены факторные нагрузки, характеризующие силу связи между доменами инструмента с теоретическим конструктом (предполагаемой латентной переменной), интерпретировались в соответствии со схемой, предложенной A.L. Comrey и H.B. Lee [15]: факторные нагрузки со значением более 0,71 — великолепные; от 0,63 до 0,70 — очень хорошие; от 0,55 до 0,62 — хорошие; от 0,45 до 0,54 — нормальные; от 0,32 до 0,44 — удовлетворительные. Домены со значением факторных нагрузок менее 0,32 не подлежали дальнейшему включению в CFA. Как следует из EFA, каждый домен оказался важен для измеряемого нами теоретического конструкта, а потому все они будут включены в модель при проведении CFA.
Таблица 2. Факторная матрица для однофакторного решения (после oblimin-вращения)
Домен | Факторная нагрузка | Уникальность |
Запись на прием | 0,73 | 0,37 |
Общее ожидание помощи | 0,81 | 0,25 |
Ожидание помощи в организации | 0,78 | 0,33 |
Комфорт в организации | 0,81 | 0,32 |
Отношение персонала | 0,80 | 0,29 |
Объяснение лечения | 0,76 | 0,34 |
Соответствие ожиданиям | 0,80 | 0,33 |
Решение проблемы | 0,43 | 0,61 |
Осложнения | –0,34 | 0,73 |
Лояльность | 0,78 | 0,35 |
Общая удовлетворенность | 0,83 | 0,27 |
Критерий сферичности Бартлетта был удовлетворен (p-value < 0,001); совокупный KMO составил 0,94, что значительно выше нижнего порога данного теста (0,5) и свидетельствует о «великолепной» (“marvelous”) адекватности применения факторного анализа на имеющихся данных. Важно отметить и то, что мера адекватности каждого отдельно взятого домена также превышает 0,9; значения KMO представлены в табл. 3.
Таблица 3. Мера адекватности выборки Кайзера–Мейера–Олкина по отдельно взятым доменам
Домен | Мера адекватности Кайзера–Мейера–Олкина |
Запись на прием | 0,93 |
Общее ожидание помощи | 0,92 |
Ожидание помощи в организации | 0,94 |
Комфорт в организации | 0,95 |
Отношение персонала | 0,93 |
Объяснение лечения | 0,93 |
Соответствие ожиданиям | 0,96 |
Решение проблемы | 0,93 |
Осложнения | 0,90 |
Лояльность персонала | 0,95 |
Общая удовлетворенность | 0,95 |
Подтверждающий факторный анализ. Для проведения CFA использованы оставшиеся 1506 случайных наблюдений из нашей общей выборки. Такая стандартная схема проведения анализа используется для утверждения робастности и воспроизводимости полученных во время EFA результатов. SEM-модель, тестируемая нами и оправленная в результате нескольких итераций, представлена на рис. 1.
Рис. 1. CFA однофакторной структуры опросника «Удовлетворенность населения медицинской помощью»
В рамках SEM-моделирования прямоугольники представляют собой домены опросника; большой круг — латентную переменную, связанную с доменами (измеряемый теоретический конструкт); маленькие круги — остатки, не описанные латентной переменной. Главная цель проведения подтверждающего факторного анализа — оценить адекватность предполагаемой факторной структуры. Для этого используются классические измерения адекватности модели, освещающие ее с различных перспектив. В первую очередь это сравнительный критерий соответствия (Comparative Fit Index, CFI), оценивающий несоответствия между гипотетической моделью и фактическими данными. Ранее в научной среде пороговым значением для CFI устанавливалось 0,9 и выше, однако более поздние научные исследования [18] продемонстрировали, что при определенных условиях данный порог могут пройти в том числе неадекватные модели, а потому значение было повышено до 0,95 и выше. Несомненный плюс CFI заключается в его нечувствительности к размеру выборки, что делает его предпочтительнее хи-квадрата, выполняющего аналогичную функцию на малых выборках.
Другим индексом, которому мы уделяем внимание, является индекс Такера–Льюиса (Tucker–Lewis Index, TLI), оценивающий различия между значением хи-квадрата в гипотетической и нулевой моделях и предвосхищающий возможные смещения, характерные для CFI. Пороговым значением для TLI, как и в случае с CFI, является 0,95 [18].
Наконец важной мы считаем и оценку квадратичной усредненной ошибки аппроксимации (RMSEA), являющейся стандартом в работах, посвященных валидации опросных инструментов [17, 19]. Пороговое значение определяется как для самой RMSEA, так и для ее 90%-го доверительного интервала (ДИ) — не более 0,06 на верхней границе.
Рассмотрение данных показателей в совокупности позволяет нам избежать ошибок как первого, так и второго рода. Результаты измерения представлены в табл. 4.
Таблица 4. Оценка адекватности модели в рамках CFA
CFI | TLI | RMSEA | 90%-й ДИ | |
нижняя граница | верхняя граница | |||
0,993 | 0,988 | 0,039 | 0,032 | 0,047 |
Таким образом, применение подтверждающего факторного анализа продемонстрировало приемлемость однофакторного решения и подтвердило структурную валидность разработанного инструмента.
Альфа Кронбаха продемонстрировала «превосходную» внутреннюю согласованность доменов (> 0,9) [20].
Обсуждение
Обсуждение основного результата исследования
Все домены оказались важными для измеряемого теоретического конструкта исходя из EFA. Для того чтобы оценить адекватность предполагаемой факторной структуры, использовались классические измерения адекватности модели — Comparative Fit Index (CFI), оценивающий несоответствия между гипотетической моделью и фактическими данными, где значение было повышено до 0,95 и выше. Также мы обратили внимание на индекс Такера–Льюиса (TLI), оценивающий различия между значением хи-квадрата в гипотетической и нулевой моделях, предвосхищающий возможные смещения, характерные для CFI. Пороговым значением, как и в случае с CFI, является 0,95 [18]. Альфа Кронбаха продемонстрировала «превосходную» внутреннюю согласованность доменов (> 0,9) [20]. Исходя из проведенного анализа, можно утверждать о приемлемости однофакторного решения и о подтверждении структурной валидности разработанного инструмента.
В этой статье мы описали разработку и валидацию универсального опросника для определения уровня удовлетворенности пациентов медицинской помощью. При разработке опросника был принят во внимание зарубежный и отечественный опыт концептуализации понятия «удовлетворенность населения медицинской помощью», теории удовлетворенности, которые раскрывают ее психосоциальные детерминанты, а также существующие инструменты, измеряющие удовлетворенность.
В России существующие инструменты по определению уровня удовлетворенности на данный момент не имеют системного применения, поэтому не могут быть использованы в должной мере. Данный опросник является первым российским опросником по определению удовлетворенности населения медицинской помощью, который валидирован с помощью адекватных статистических методов, а не экспертных оценок.
В исследовании использовалась кросс-валидация на случайных подвыборках. Перекрестная валидация с помощью EFA и CFA обеспечила разработанному опроснику значительную поддержку.
Таким образом, исследование предоставляет психометрические доказательства структурной валидности данного опросника в Российской Федерации. Полученные психометрические параметры в сопоставлении с литературными данными и предыдущими работами надежны, что позволяет говорить о высокой валидности данного инструмента [1–8, 10–20].
Коэффициенты надежности для инструмента были высокими и указывали на то, что инструмент имеет высокую внутреннюю согласованность. Следовательно, данные, полученные в результате опроса по данному инструменту, можно считать достоверными и надежными (при условии соблюдения фундаментальных правил проведения опроса, достаточности размера выборки и ее репрезентативности).
Ограничения исследования
Факторный анализ завязан на субъективизме эвристических представлений автора и требует хорошего теоретического обоснования взаимосвязей между доменами опросника и ненаблюдаемой (латентной) переменной. Полезность факторного анализа зависит от суждений и предиспозиции исследования, что может вносить определенные смещения в полученные результаты. Однако опора на отечественный и зарубежный опыт, а также коммуникация внутри авторского коллектива позволили минимизировать данное ограничение до определенной степени.
Заключение
Анализ практикуемых в Российской Федерации подходов к оценке удовлетворенности медицинской помощью позволил сделать вывод, что применяемые инструменты изучения указанного параметра не обеспечивают единую принятую стандартизированную и валидную методику, результатами которой могли бы пользоваться все заинтересованные стороны, в том числе для оценки значений в динамике и сопоставления.
Вопрос измерения удовлетворенности тесно связан с подходом к ее теоретическому осмыслению, проведенный анализ таких подходов позволил сформулировать комплексное определение удовлетворенности пациентов медицинской помощью — показатель, отражающий степень соответствия медицинской помощи, условий и сроков ее оказания ожиданиям пациента, его представлениям о должной доступности и качестве предоставления медицинской помощи, а также о том, как должна функционировать медицинская организация.
Проведенный анализ литературы и международного практического опыта позволил разработать универсальный опросник для определения уровня удовлетворенности медицинской помощью всех пациентов вне зависимости от типа получаемой ими помощи и спектра услуг, которыми они пользовались. Статистический анализ позволяет утверждать о приемлемости применения однофакторной модели и о наличии конструктной валидности предлагаемого инструмента. Разработанный опросник «Удовлетворенность населения медицинской помощью» лег в основу методики расчета дополнительного показателя «Оценка общественного мнения по удовлетворенности населения медицинской помощью» Министерства здравоохранения Российской Федерации (2022 г.).
Дополнительная информация
Дисклеймер. Опросный инструмент, представленный в данной статье, не может быть использован без согласования с авторским коллективом и надлежащего цитирования.
Источник финансирования. Исследования выполнены, рукопись подготовлена и публикуется за счет финансирования по месту работы авторов.
Конфликт интересов. Авторы данной статьи подтвердили отсутствие конфликта интересов, о котором необходимо сообщить.
Участие авторов. Л.Д. Чаргазия — концепция и дизайн исследования, участие в реализации проекта, получение, анализ и интерпретация данных, написание текста; Д.А. Шелегова — участие в реализации проекта, получение, анализ и интерпретация данных, написание текста; В.С. Выскочков — концепция и дизайн исследования, участие в реализации проекта, получение, анализ и интерпретация данных, написание текста; Д.С. Тюфилин — концепция и дизайн исследования, участие в реализации проекта, получение, анализ и интерпретация данных, написание текста; И.П. Шибалков — участие в реализации проекта, получение, анализ и интерпретация данных, написание текста; И.А. Деев — концепция и дизайн исследования, участие в реализации проекта, редактирование; О.С. Кобякова — концепция и дизайн исследования, участие в реализации проекта, получение, анализ и интерпретация данных, редактирование.
About the authors
Lasha D. Сhargaziya
Russian Research Institute of Health
Email: chargaziyald@mednet.ru
ORCID iD: 0000-0002-8033-6377
SPIN-code: 5078-4694
Junior Research Assistant
Россия, MoscowDaria A. Shelegova
Russian Research Institute of Health
Email: shelegova@mednet.ru
ORCID iD: 0000-0003-1167-9760
Leading Specialist
Россия, MoscowVladimir S. Vyskochkov
Russian Research Institute of Health
Email: vyskochkovvs@mednet.ru
ORCID iD: 0000-0002-5338-4760
SPIN-code: 3919-1738
Main Specialist
Россия, MoscowDenis S. Tyufilin
Russian Research Institute of Health
Email: tyufilinds@mednet.ru
ORCID iD: 0000-0002-9174-6419
SPIN-code: 7995-1025
Head of Department
Россия, MoscowIvan P. Shibalkov
Russian Research Institute of Health
Author for correspondence.
Email: shibalkovip@mednet.ru
ORCID iD: 0000-0002-4255-6846
SPIN-code: 6341-3247
MD, PhD, Leading Researcher
Россия, MoscowIvan A. Deev
Russian Research Institute of Health
Email: deevia@mednet.ru
ORCID iD: 0000-0002-4449-4810
SPIN-code: 2730-0004
MD, PhD, Deputy Director for Healthcare Organization
Россия, MoscowOlga S. Kobyakova
Russian Research Institute of Health
Email: kobyakovaos@mednet.ru
ORCID iD: 0000-0003-0098-1403
SPIN-code: 1373-0903
MD, PhD, Director
Россия, MoscowReferences
- Hudak PL, Hogg-Johnson S, Bombardier C, et al. Testing a new theory of patient satisfaction with treatment outcome. Med Care. 2004;42(8):726–739. doi: https://doi.org/10.1097/01.mlr.0000132394.09032.81
- Donabedian A. The quality of care. How can it be assessed? JAMA. 1988;260(12):1743–1748. doi: https://doi.org/10.1001/jama.260.12.1743
- Pascoe GC. Patient satisfaction in primary health care: a literature review and analysis. Eval Program Plann. 1983;6(3–4):185–210. doi: https://doi.org/10.1016/0149-7189(83)90002-2
- Wolosin RJ. The voice of the patient: A national, representative study of satisfaction with family physicians. Qual Manag Health Care. 2005;14(3):155–164.
- Risser NL. Development of an instrument to measure patient satisfaction with nurses and nursing care in primary care settings. Nurs Res. 1975;24(1):45–52.
- Mpinga EK, Chastonay P. Patient Satisfaction Studies and the Monitoring of the Right to Health: Some Thoughts Based on a Review of the Literature. Global Journal of Health Science. 2011;3(1). doi: https://doi.org/10.5539/gjhs.v3n1p64
- Myburgh NG, Solanki GC, Smith MJ, et al. Patient satisfaction with health care providers in South Africa: The influences of race and socioeconomic status. Int J Qual Health Care. 2005;17(6):473–477. doi: https://doi.org/10.1093/intqhc/mzi062
- Linder-Pelz SU. Toward a theory of patient satisfaction. Soc Sci Med. 1982;16(5):577–582. doi: https://doi.org/10.1016/0277-9536(82)90311-2
- Кобякова О.С., Деев И.А., Тюфилин Д.С., и др. Удовлетворенность медицинской помощью: как измерить и сравнить? // Социальные аспекты здоровья населения. — 2016. — Т. 49. — № 3. [Kobyakova OS, Deev IA, Tyufilin DS, et al. Satisfaction with Health Care: How to Measure and Compare? Social Aspects of Population Health. 2016;49(3).] doi: https://doi.org/10.21045/2071-5021-2016-49-3-5. Available from: http://vestnik.mednet.ru/content/view/753/30/lang,ru/ (accessed: 27.06.2022).
- Ware JE. Development and Validation of Scales to Measure Patient Satisfaction with Health Care Services. Volume II, Perceived Health and Patient Role Propensity. Southern Illinois University, School of Medicine; National Technical Information Service, 1976.
- Ware JE, Jr, Snyder MK, Wright WR. Development and validation of scales to measure patient satisfaction with health care services: Volume I of a Final Report Part A: Review of literature, overview of methods, and results regarding construction of scales. NTIS No. PB 288-329. Springfield, VA: National Technical Information Service; 1976.
- Al-Abri R, Al-Balushi, A. Patient satisfaction survey as a tool towards quality improvement. Oman Med J. 2014;29(1):3–7. doi: https://doi.org/10.5001/omj.2014.02
- Keller S, O’Malley AJ, Hays RD, et al. Methods used to streamline the CAHPS Hospital Survey. Health Serv Res. 2005;40(6Pt2):2057–2077. doi: https://doi.org/10.1111/j.1475-6773.2005.00478.x
- Jenkinson C, Coulter A, Bruster S. The Picker Patient Experience Questionnaire: development and validation using data from in-patient surveys in five countries. Int J Qual Health Care. 2002;14(5):353–358. doi: https://doi.org/10.1093/intqhc/14.5.353
- Comrey AL, Lee HB. A first course in factor analysis. 2nd ed. Lawrence Erlbaum Associates, Inc.; 1992.
- Preacher KJ, MacCallum RC. Repairing Tom Swift’s Electric Factor Analysis Machine. Understanding Statistics. 2003;2(1):13–43. doi: https://doi.org/10.1207/S15328031US0201_02
- Hair JF, Anderson RE, Tatham RL, et al. Multivariate data analysis. 5th ed. Upper Saddle River, NJ: Prentice Hall; 1998.
- Hu LT, Bentler PM. Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria versus New Alternatives. Structural Equation Modeling: A Multidisciplinary Journal. 1999;6(1):1–55. doi: https://doi.org/10.1080/10705519909540118
- Awang Z. A Handbook on SEM Structural Equation Modelling: SEM Using AMOS Graphic. 5th ed. Kota Baru: Universiti Teknologi Mara Kelantan; 2012.
- Taber KS. The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Res Sci Educ. 2018;48(6):1273–1296. doi: https://doi.org/10.1007/s11165-016-9602-2