Background. The SARS-CoV-2 pandemic has set new challenges for the radiological community: early diagnosis of interstitial pneumonia, estimation of its severity, and dynamics. Computed tomography has become the method of choice for assessing lung tissue in COVID-19 patients, which is due to the low sensitivity of radiography in detecting a decrease in airiness by the “ground glass opacity” type. The criteria for assessing visual signs of lung tissue damage often have a degree of subjectivity, and the conclusion based on them affects the patient’s management tactics. Aims — to determine the inter- and intra-expert consistency in the assessment of the percentage of lesions and the CT stage of COVID-19 pneumonia among experts-radiologists with different experience, to analyze the level of precision depending on the prevalence of the lesion and other factors. Materials and methods. The research analyzed CT scans of 221 patients with confirmed SARS-CoV-2 by PCR. Patients with additional lung pathology and some patients with lesions up to 50% were excluded to create a uniform degree sample of 100 patients. Four expert radiologists determined the percentage of lung damage and the CT stages. The results of the expert assessment are analyzed using the methods of classical descriptive statistics and the analysis of intra-and inter-expert consistency. Results. The correlation of the level of lung damage, when evaluating intra-expert convergence (after 6 months), as a percentage between the first and second reading was R = 0.86 (p < 0.05) for expert 1 (high level of training), R = 0.84 (p < 0.05) for expert 2 (high level of training). Within the expert agreement, Kappa (for K-degree) was 0.54 for expert 1 and 0.46 for expert 2, which corresponds to a moderate level of consistency. When assessing inter-expert convergence, the connectivity between the level of lung damage as a percentage between experts 1 and 2 (high level of training) was R = 0.87 (p < 0.05), between experts 3 and 4 (low level of training) —R = 0.78 (p < 0.05). The measure of inter-expert agreement Kappa was 0.51 for experts 1 and 2 and 0.56 for experts 3 and 4. The average assessment of experts in the sample varied up to 4.5%, and when analyzing the differences in expert opinions, the difference varied evenly, both in the degree of increase and decrease in the volume of the lesion. Conclusions. In spite of the high level of correlation in the assessment of the percentage of lesion, the convergence of the Cap on the CT degree was moderate, not significantly differing from the degree of expert training. More often, differences in the level of damage are observed in “non-classical” patterns: “reverse halo”, curvilinear lines, etc. The difference in opinions doesn’t represent a systematic error. Hereby the expert assessment of the volume of lung damage “empirically” has a moderate, insufficient level of reliability.
Обоснование. Пандемия SARS-CoV-2 поставила перед специалистами по лучевой диагностике новые задачи — ранней диагностики интерстициальной пневмонии, оценки ее тяжести и динамики при контрольных исследованиях. Компьютерная томография (КТ) стала методом выбора для оценки легочной ткани у больных COVID-19, что связано с низкой чувствительностью рентгенографии в детекции снижения воздушности по типу «матового стекла». Критерии оценки визуальных признаков поражения легочной ткани зачастую обладают долей субъективности, при этом заключение, основанное на них, может влиять на тактику ведения пациента. Цель исследования — определить меж- и внутриэкспертную сходимость в оценке процента поражения и КТ-степень COVID-19-ассоциированной пневмонии при КТ-исследовании среди экспертов с разным опытом, проанализировать уровень сходимости в зависимости от распространенности поражения и иных факторов. Методы. В исследовании проанализированы КТ 221 пациента с подтвержденным ПЦР к SARS-CoV-2. Исключены пациенты с фоновой патологией легких и часть пациентов с поражением до 50% для создания равномерной по степеням выборке из 100 пациентов. Четыре эксперта-рентгенолога определяли процент поражения легких и КТ-степень. Произведен анализ результатов экспертной оценки методами классической описательной статистики и анализ внутри- и межэкспертной сходимости. Результаты. При оценке внутриэкспертной сходимости (через 6 мес) корреляция уровня поражения легких в процентах между первым и вторым чтением составила у эксперта 1 (высокий уровень подготовки) R = 0,86 (p < 0,05), у эксперта 2 (высокий уровень подготовки) — R = 0,84 (p < 0,05). Внутриэкспертное согласие Каппа (для КТ-степени) составило 0,54 для эксперта 1 и 0,46 для эксперта 2, что соответствует умеренному уровню согласованности. При оценке межэкспертной сходимости взаимосвязь между уровнем поражения легких в процентах между экспертами 1 и 2 (высокий уровень подготовки) составила R = 0,87 (p < 0,05), между экспертами 3 и 4 (низкий уровень подготовки) — R = 0,78 (p < 0,05). Мера межэкспертного согласия Каппа составила 0,51 для экспертов 1 и 2 и 0,56 — для экспертов 3 и 4. Средняя оценка экспертов по выборке различалась до 4,5%, а при анализе расхождений мнений экспертов разница варьировалась равномерно, в степень и как увеличения, так и уменьшения объема поражения, тем самым представляя собой случайную ошибку. Заключение. Несмотря на высокий уровень корреляции в оценке процента поражения, сходимость Каппа по КТ-степени оказалась умеренной, существенно не различаясь от степени подготовки эксперта. Чаще различия в уровне поражения наблюдаются при «неклассических» паттернах: «обратном гало», криволинейных уплотнениях и т.д. Разница в мнениях не представляет собой систематическую ошибку. Таким образом, экспертная оценка объема поражения легких «эмпирически» обладает умеренным, недостаточным уровнем надежности, что, в свою очередь, создает благоприятные условия для использования инструментов по объективизации оценки.