Систематический обзор с метаанализом

Название домена / критерии оценки	Риск систематической ошибки* / балл по шкале** / усиление / ослабление достоверности / ответ невозможен***	Обоснование для вынесения оценки
1.
2.
Заключение о методологическом качестве исследования	Высокое / удовлетворительное / низкое (подчеркнуть)
Примечания: * Для рандомизированных контролируемых исследований. ** Для метаанализов. *** Для непрямых или смешанных сравнений, сетевых метаанализов

 

Исследование	Дизайн (МА, РКИ)	Суммарный балл по шкале, s/S*, **	Методологическое качество (высокое / удовлетворительное / низкое)	Уровень доказательности
РКИ 1 (1-й автор, год [ссылка])
РКИ 2 (1-й автор, год [ссылка])
РКИ 3 (1-й автор, год [ссылка])
Примечания: МА – метаанализ; РКИ – рандомизированное контролируемое исследование. * s/S – количество баллов, набранных исследованием / максимальное количество баллов согласно использованной методике оценки методологического качества в зависимости от дизайна исследования (кроме РКИ). ** Для РКИ приводится число доменов с низким, неопределённым и высоким уровнем риска возникновения систематической ошибки

Статистическая обработка данных в метаанализе

Метаанализ – это прекрасный способ наломать дров. Он является сложной математико-статистической процедурой. Его выполнение требует наличия в исследовательской группе квалифицированного биостатистика, имеющего опыт проведения подобных исследований. Поэтому если вы не владеете математическим складом ума, то, не вдаваясь в формулы этого параграфа, вы можете перейти к следующему и воспользоваться услугами метааналитиков. 

Однако понимание принципов проведения метаанализа более важно, чем знание деталей конкретных статистических методов анализа. 

Анализ объединённых данных с помощью статистических методов. При проведении метаанализа можно пользоваться разнообразными статистическими методами, в каждом случае их выбор определяется типом анализируемых данных (бинарные или непрерывные) и типом модели (фиксированных или случайных эффектов).

В качестве обобщённой величины эффекта лечения при наличии бинарных данных (например, частота достижения ответа на терапию, частота возникновения нежелательного явления и прочего) обычно используются отношения шансов (ОШ) или относительный риск (ОР) в сопоставляемых выборках. Все перечисленные показатели характеризуют эффект вмешательств. Представление бинарных данных в виде ОШ удобно использовать при статистическом анализе, но этот показатель достаточно трудно интерпретировать клинически. 

Непрерывными данными (например, средняя продолжительность госпитализации, средняя продолжительность симптомов и прочего) обычно являются диапазоны значений изучаемых признаков или нестандартизованная разница взвешенных средних в группах сравнения, если исходы оценивались во всех исследованиях одинаковым образом. Если же исходы оценивались по-разному (например, по разным шкалам), то используется разность средних (РС) в сравниваемых группах. 

Что необходимо сделать? Выбрать статистику (ОШ, или ОР, или РС); из каждой статьи получить необходимую статистику; рассчитать интегральный показатель – обобщённую величину эффекта.

Что делать, если в статье не приведена подобная статистика? Можно рассчитать необходимую статистику на основе имеющихся данных, приведённых в исследовании; ОШ можно рассчитать на основе таблиц сопряжённости хи-квадрат (χ²). Этот критерий базируется на оценке соотношения ожидаемых и наблюдаемых частот в таблице. При этом очень важно оценить статистическую значимость выявленной связи. Делается это с помощью расчёта границ ДИ. И наконец, можно связаться с авторами публикации.

Оценка гетерогенности. От проведённой оценки статистической гетерогенности (неоднородности) результатов исследований, включённых в метаанализ, зависит выбор математической модели, по которой будет выполнен метаанализ. Статистическая гетерогенность оценивается с помощью критерия χ² с нулевой гипотезой о равном эффекте во всех включённых в метаанализ исследованиях; также рассчитывается индекс гетерогенности (I²) [6].

Источниками статистической гетерогенности эффекта лечения в разных исследованиях принято считать дисперсию внутри исследований (обусловленную случайными отклонениями результатов разных исследований от единого истинного фиксированного значения эффекта), а также дисперсию между исследованиями (обусловленную различиями между изучаемыми выборками по характеристикам больных, заболеваний, вмешательств, приводящими к несколько разным значениям эффекта, – случайными эффектами).

Основные позиции, различие по которым порождает гетерогенность, следующие [1]:

• пациенты (выборки могут быть сделаны из популяций, немного отличающихся друг от друга: раса, возраст, климатическая зона и т. п.);
• вмешательства (схемы приёма лекарственных препаратов, режимы инфузионной терапии, клинического питания, хирургические процедуры могут в той или иной мере различаться в разных клиниках и тем более странах);
• определение исследуемого исхода (не всегда удаётся чётко определить границы наступления изучаемого события);
• дизайн (изучение одного и того же исхода может проводиться исследованиями с контрольной группой, сформированной различными методами: параллельные группы, исторический контроль и т. п.) [7].

Для оценки гомогенности (ꜜQ) и гетерогенности (ꜛQ) применяется Q-статистика, или «межвыборочная» варианса эффекта, или Cochrane Q-test, которая применяет тест χ² с нулевой гипотезой о равном эффекте во всех исследованиях и с уровнем значимости р = 0,1, для повышения статистической мощности (чувствительности) теста бо́льшим, чем традиционное значение 0,05 [6]. Таким образом:

• p < 0,10 – указывает на наличие статистически значимой гетерогенности;
• p ≥ 0,10 – статистически значимая гетерогенность отсутствует. 

Формула для расчёта статистической гетерогенности следующая:

Q= ∑(w_i (ES_i - ES ̅ )²) = ∑w_i  ES_i² - (∑w_iES_i )²/∑w_i , где

Q – гетерогенность;

w_i – вес i-го исследования;

ES_i – величина эффекта в i-м исследовании;

(ES) ̅ – средневзвешенный размер эффекта по рассматриваемым исследованиям (обобщённая величина эффекта).

 

Необходимо отметить, что p ≥ 0,10 не означает, что статистическая гетерогенность полностью отсутствует [6].

Как определить, насколько гетерогенны результаты метаанализа, в случае её обнаружения? Ответ на этот вопрос лежит в плоскости изучения индекса гетерогенности I², который выражается в процентах:

I²=  (Q-(k-1))/Q×100%, где 

Q – гетерогенность (статистика χ²);

k – количество исследований.

Чем меньше индекс гетерогенности I² в процентах, тем ниже гетерогенность, тем более однородны данные объединённой выборки и, следовательно, более точна и достоверна оценка эффекта, полученная в результате метаанализа [1]. В рекомендациях ФГБУ «ЦЭККМП» Минздрава России по метаанализу индекс гетерогенности I² > 40 % обозначает наличие статистической гетерогенности [6], поэтому для обобщения результатов рекомендуется использовать:

• при отсутствии статистически значимой гетерогенности (p ≥ 0,10 в тесте χ² и I² ≤ 40 %) – модель фиксированного эффекта;
• при обнаружении статистически значимой гетерогенности в исследованиях (p < 0,10 в тесте χ² и I² > 40 %) – модель случайных эффектов.

В случае если p ≥ 0,10 в тесте χ², но индекс гетерогенности I² > 40 %, при выборе математической модели метаанализа рекомендуется, в первую очередь, принимать во внимание результаты оценки статистической гетерогенности согласно тесту χ² [6].

Модель фиксированного эффекта (постоянного; англ. fixed-effects model) при низкой гетерогенности предполагает, что значение исследуемого эффекта не может варьировать и должно равняться определённому числу, то есть эффект всегда должен быть одним и тем же, независимо от обстоятельств и условий проведения исследований. В этом случае изучаемое лечение во всех исследованиях имеет одну и ту же эффективность, а выявляемые различия между исследованиями обусловлены только дисперсией внутри исследований [1]. Для этой модели используется метод Мантела – Ханзела (Mantel – Haenszel).

Что же делать, если гетерогенность высокая? В этом случае метаанализ проводится на основе модели со случайным эффектом (англ. random-effects model) – методами ДерСимонян (DerSimonian Rebecca) и Лэйрд (Laird Nan) [8]. 

При модели со случайным эффектом мы предполагаем a priori возможность некоторой вариации числового значения эффекта вокруг определённого числа, иными словами, мы допускаем заранее, что величина эффекта может немного отличаться в различных условиях эксперимента. То есть эффективность изучаемого лечения в разных исследованиях может варьировать. Данная модель учитывает дисперсию не только внутри одного исследования, но и между разными исследованиями; в этом случае суммируются дисперсии внутри исследований и дисперсия между исследованиями [1].

Проведение собственно метаанализа, то есть получение обобщённой точечной величины эффекта и её доверительного интервала: 

Метаанализ РКИ по исходам, основанным на бинарных данных, выполняется с использованием информации о количестве пациентов с альтернативными значениями оцениваемого исхода в каждой из групп сравнения (n₁, n₂ и так далее) и общем количестве пациентов в каждой группе сравнения (N₁ и N₂ и так далее). В качестве обобщённой меры исхода используется ОР или ОШ – в зависимости от оцениваемого исхода (критерия эффективности или безопасности) [6].

Метаанализ РКИ по исходам, основанным на непрерывных данных, выполняется с использованием информации о средних значениях, их среднеквадратичного отклонения (СКО, англ. standard deviation (SD)) в каждой из групп сравнения и общем количестве пациентов в соответствующих группах сравнения, во всех включённых в метаанализ РКИ. В качестве обобщённой меры исхода используется разность средних (РС, англ. mean difference (ΔMD)) или стандартизованная РС (на усмотрение исследователя) [6].

Следует отметить, что метаанализ РКИ по исходам, основанным на непрерывных данных, возможен только при условии нормального распределения изучаемого признака в каждой из групп сравнения во всех включённых РКИ, поскольку расчёт средних применяется только для признаков с нормальным распределением [6].

В случае если в тексте публикации о РКИ не доступна информация ни о СКО, ни о стандартной ошибке среднего, выполнение метаанализа с использованием данного РКИ будет невозможным [6].

Следует также отметить, что в случае, если необходимо выполнить обобщение результатов РКИ, представленных в виде РС (например, РС значений показателя до и после лечения в каждой из групп сравнения), выполнение метаанализа по данному исходу не рекомендуется, поскольку в таком случае также будет вычислена разность между двумя РС, то есть выполнено двойное вычитание. Данное обстоятельство может привести к ложному выявлению эффекта за счёт дополнительных математических действий. В таком случае рекомендуется провести сравнение групп лечения в каждом РКИ отдельно на основании доверительного интервала для РС без обобщения результатов в метаанализе [6].

Как выявить публикационное смещение в совокупности работ, охваченных метаанализом? Существует публикационное смещение, связанное с преимущественным опубликованием положительных результатов исследования (исследования, в которых получены статистически значимые результаты, чаще публикуются, чем те, в которых такие результаты не получены). 

Публикационное смещение (англ. publication bias) – систематическая ошибка, возникающая вследствие тенденции редакторов (и авторов) публиковать статьи, содержащие положительные данные, особенно «новые» результаты, по сравнению с отчётами, которые не представляют «значительных» результатов, т. е. соответствующих ранее опубликованным данным.

Публикационное смещение может исказить представление, например, о взаимосвязях, эффективности схем лечения и может быть важным источником ошибки при метаанализе.

Поскольку метаанализ основан на опубликованных данных, следует обращать особое внимание на недостаточную репрезентативность отрицательных результатов в литературе. Включение в метаанализ неопубликованных результатов также представляет значительную проблему, так как их качество неизвестно в связи с тем, что они не проходили рецензирование [5].

Публикационное смещение – результат авторских предрассудков и редакторских предпочтений.

Для качественной оценки наличия такой систематической ошибки метаанализа, как публикационное смещение, обычно прибегают к построению воронкообразной диаграммы рассеяния (англ. funnel plot) результатов отдельных исследований в координатах «величина эффекта – размер выборки» (рис. 1). При полном выявлении исследований эта диаграмма должна быть симметричной [5].

Публикационное смещение необходимо оценивать только при наличии определённого количества исследований, включённых в метаанализ [6]:

Рис. 1. Пример воронкообразной диаграммы рассеяния 

Оценка публикационного смещения с помощью воронкообразной диаграммы рассеяния является субъективной и должна интерпретироваться с осторожностью. В случае наличия асимметричности расположения исследований в воронкообразной диаграмме рассеяния потенциальные объяснения присутствующего публикационного смещения должны быть рассмотрены и обсуждены [6].

Анализ чувствительности. После получения обобщённой оценки эффекта необходимо определить устойчивость его величины путём проведения анализа чувствительности. В зависимости от конкретной ситуации его можно проводить на основе нескольких различных методов: 

• сопоставление результатов, получаемых в двух моделях: фиксированного эффекта и случайных эффектов; во второй модели результаты обычно бывают статистически менее значимыми; 
• исключение того или иного исследования из анализа и пересчёт результатов с последующей оценкой их гетерогенности по критерию χ²;
• изменение параметров данных, отбираемых из каждого анализируемого исследования; 
• исключение из метаанализа наиболее крупных исследований. 

Если величина эффекта того или иного анализируемого вмешательства при анализе чувствительности существенно не изменяется, то имеются основания полагать, что выводы первичного метаанализа достаточно обоснованы. 

Выводы метаанализа формируются с учётом определённых ранее критериев включения и исключения исследований. Также выводы необходимо формировать отдельно для каждого исхода, по которому проводилась оценка сравнительной клинической эффективности или безопасности ЛП с помощью метаанализа. Следует отметить, что методологическая гетерогенность исследований, включённых в метаанализ, должна быть обсуждена и учтена при формулировании его выводов [6].

Результаты метаанализа обычно представляются в виде точечной оценки эффекта и его 95 % ДИ в графическом виде (форест-диаграмма) с указанием названий групп сравнения и анализируемого исхода (см. рис. 2) и с результатами оценки [6]: 

• статистической гетерогенности с информацией об используемой математической модели метаанализа; 
• публикационного смещения в графическом виде (воронкообразная диаграмма рассеяния) и/или в тексте в виде результатов проверки соответствующих статистических гипотез.

Результаты отдельных исследований, включённых в метаанализ, информация о результатах оценки статистической гетерогенности, непосредственно результаты выполненного метаанализа также могут быть представлены в текстовом и/или табличном виде в дополнение к форест-диаграмме. В случае отсутствия форест-диаграммы данная информация должна быть представлена в табличном и/или текстовом виде в обязательном порядке [6].

Интерпретация результатов метаанализов

Для того чтобы выводы метаанализа воспринимались легче и нагляднее, Кокрейновское общество разработало стандарт графического изображения результатов метаанализа. Иногда отчёт по метаанализу на 90 % состоит именно из этого специфического вида диаграмм. Они аккумулируют в себе всю информацию, необходимую для оценки адекватности проведённого исследования с точки зрения стратегии поиска статей, методов обработки данных, гетерогенности выборки, статистической и клинической значимости полученных результатов. Чтобы быстро и эффективно ориентироваться в графическом портрете метаанализа, необходимо знать, какая информация содержится в тех или иных кратких обозначениях и как её интерпретировать [1]. На рис. 2 показан пример такого графика, на нём мы и рассмотрим все важнейшие детали, которые отражают суть проведённого исследования.

Форест-диаграмма результатов метаанализа представляет собой сжатый отчёт о проведённом аналитическом количественном исследовании и наглядно демонстрирует все основные результаты, полученные в ходе этой работы.

Несколько строк в верхней части диаграммы (рис. 2 – А) полностью описывают ту популяцию, на которой проводились отобранные для метаанализа исследования. Кроме того, там же указан фактор воздействия (лечение или фактор риска) для группы исследования, а также вид контроля (активный или плацебо) для группы сравнения. В самой нижней строке этого блока указывается конечная точка исследования – исход, частота которого регистрируется как в группе исследования, так и в группе контроля [1].

 

Рис. 2. Пример построения и интерпретация форест-диаграммы [1]

 

Далее на всём поле диаграммы чётко просматриваются шесть колонок (рис. 2 – Б): название исследования, объём выборки и количество изучаемых исходов в группе исследования, те же параметры в группе сравнения, собственно форест-диаграмма, относительный вес (в %) каждого из исследований, включённых в метаанализ, и числовое выражение эффекта (в данном примере – это относительный риск (ОР)) вместе с его 95 % ДИ, полученное в каждом исходном исследовании. Как правило, порядок следования и количество колонок на таких форест-диаграммах остаётся неизменным. Иногда могут быть опущены данные по контрольной группе, но заголовки над колонками (рис. 2 – Б) всегда подскажут, к какой группе относятся данные, расположенные ниже [1]. 

Центральной фигурой во всей диаграмме является, конечно, сама форест-диаграмма (рис. 2 – В). Такого рода графики широко используются для наглядного изображения эффекта, выраженного в терминах относительного риска (как в данном примере) или отношения шансов с их доверительными интервалами. Слева отмечаются названия исследований, включённых в метаанализ (рис. 2 – Г). Вертикальная ось (вертикальный визир) такого графика не является числовой и поэтому не градуируется [1].

Горизонтальная ось часто является логарифмической (рис. 2 – Д), то есть равные расстояния между отмеченными числами не означают равенство разностей между соседними значениями. На уровне значения, равного 1 (единицы), проведена вертикальная черта, означающая нулевой эффект – лечение не оказывает влияния на исход. Все значения эффекта, которые находятся слева от неё (<1), свидетельствуют о превышении частоты изучаемого исхода в группе контроля над таковой в группе исследования (лечение снижает вероятность неблагоприятного исхода). Справа от отметки нулевого эффекта (>1) располагаются его значения, указывающие, что в группе исследования частота больше, чем в группе сравнения (лечение повышает вероятность неблагоприятного исхода) [1]. 

В правой колонке весов (англ. weight (w)) стоит значение в процентах, а рядом значение общего эффекта вместе с его доверительным интервалом (рис. 2 – Е) [1]. 

Рядом с каждым исходным исследованием на соответствующей высоте находится квадрат, сопровождаемый горизонтальными линиями, протянутыми влево и вправо от него. Это графическое отображение величины эффекта (в этом примере относительный риск), полученное в данном исследовании. Размер квадрата пропорционален объёму выборки. Квадрат указывает на число, которому равен эффект, а линии отображают протяжённость его доверительного интервала (чем короче линия, тем надёжней результат) [1]. 

Если линия пересекает вертикальный визир нулевого эффекта слева или справа, это означает, что полученная величина эффекта статистически недостоверна, то есть её отличие от нулевого эффекта может быть случайностью, обусловленной особенностями выборки, но не объективными свойствами изучаемого процесса. Если линия доверительного интервала не имеет пересечения с вертикальным визиром нулевого эффекта, то величина эффекта статистически достоверно отлична от нуля и не может быть объяснена случайностью. Размер квадрата указывает на относительный вес соответствующего исследования среди всех включённых в метаанализ работ. Результаты большего по мощности исследования изображаются бо́льшим квадратом [1]. 

Самая нижняя фигура на графике – ромб требует отдельного пояснения (рис. 2 – Е). Ромбом обозначается оценка эффекта (среднее значение эффекта, англ. effect size (ES)), рассчитанная по общей выборке всех исходных исследований. Вертикальные вершины ромба расположены на отметке, равной значению общего эффекта, а боковые вершины отмечают границы доверительного интервала оценки. Поскольку общая выборка всегда существенно больше выборки любого исходного исследования, то длина горизонтальной диагонали ромба всегда достаточно мала, следовательно, точность общей оценки, полученной в результате метаанализа, всегда значительно выше, чем в любом из исходных исследований, и это видно непосредственно на графике. Чёткое расположение ромба с левой стороны от вертикального визира нулевого эффекта указывает на то, что данный вид лечения является эффективным. Если ромб не пересекает вертикальную ось нулевого эффекта, это значит, что общая оценка эффекта статистически достоверна, в противном случае величину эффекта нельзя считать действительно отличной от 1 (то есть отсутствие эффекта), даже если она в точности не равна единице. На статистическую достоверность также указывает и p-значение в самой нижней строке под графиком (рис. 2 – Ж) [1]. 

Как правило, в систематических обзорах рассчитывается специальная статистика Z и печатается её значение, а рядом с ней указывается р-значение, которое соответствует полученной статистике Z и объёму выборки. Мы не будем сейчас заострять внимание на том, как рассчитывается эта Z и как по ней определять ошибку. Отметим лишь, что если р > 0,05 (ошибка указывается в единицах вероятности, а не в процентах), то общий эффект можно считать недостоверным и график это немедленно подтвердит: вы увидите, что ромб пересекается с вертикальной линией нулевого эффекта. Едва заметное пересечение или полное его отсутствие всегда отражает p < 0,05 и, следовательно, свидетельствует о статистической значимости общего эффекта [1].

Поскольку в метаанализе мы имеем дело с данными не одного, а нескольких исследований, то они могут незначительно, а иногда и существенно различаться, несмотря на то, что взяты для изучения одного и того же эффекта. В этом случае говорят, что имеет место гетерогенность данных объединённой выборки (методы оценки гетерогенности см. выше) [1]. 

Если различия исследований по всем перечисленным пунктам несущественны, то гетерогенность общей выборки метаанализа будет незначительной, но в случае серьёзных вариаций основных свойств включаемых работ мы вправе ожидать вариацию изучаемого эффекта. Поскольку гетерогенность можно оценить и выразить конкретным числом в процентах, то в нижнем блоке данных слева от графика (рис. 2 – З) вторая строка отражает результаты по исследованию гетерогенности общей выборки – индекс гетерогенности I² (описание градации гетерогенности см. выше) [1]. 

Модель, на основе которой сделан метаанализ, обязательно должна быть указана в заголовке той колонки, где размещён сам график (рис. 2 – Б), а также в последнем столбце, где отражены численные значения эффекта, полученные в каждом исследовании (в данном примере это относительный риск). Если там находится термин «fixed», то использована модель с фиксированным эффектом (постоянным), если «random» – модель со случайным эффектом [1].

Ограниченность метаанализа

Несмотря на все достоинства, метаанализ может содержать ложные выводы и ошибки. Так, поиск на PubMed по запросу «review OR meta-analysis» выдаёт в большинстве случаев несистематические обзоры. В целом количество обзоров будет, по меньшей мере, в десяток раз превосходить число статей. Судя по их огромному количеству, несистематические обзоры остаются одним из наиболее популярных и весомых способов засорения научной литературы [2].

Метаанализ был бы прекрасной идеей, если бы доступная информация по любому вопросу была представлена случайной выборкой из огромной вселенной потенциальной информации, которая могла бы быть собрана с использованием объективных методов и несмещённых измерений. В таком случае можно было бы ожидать существенную неопределённость в оценке эффекта при появлении первых данных, но неопределённость снижалась бы с появлением дополнительной информации, а точечная оценка эффекта оставалась бы непредвзятой на протяжении всего исследования. То же было бы применимо и к влиянию потенциальных модифицирующих факторов. Однако есть существенные подтверждения тому, что в некоторых метаанализах величина эффекта с течением времени снижается [2]. 

Примерно четверть эффектов, представленных в самых цитируемых РКИ, опровергнуты или признаны преувеличенными (более чем в два раза) в сравнении с эффектами, просматриваемыми в гораздо более крупных испытаниях, проведённых в течение десятилетия [2].

Важно отметить, что в большинстве случаев обнаружения таких крупных противоречий в ранних РКИ метаанализы редко служили инструментом для влияния на общественное и экспертное мнение, хотя могли бы играть эту роль куда чаще. Обычно это было привилегией отдельных крупных и хорошо организованных РКИ. Как только происходило опровержение, тут же появлялись метаанализы. В некотором смысле, метаанализы каждый раз следовали веяниям моды. В тех редких случаях, когда метаанализы смели подвергнуть сомнению превалирующее мнение, например в случае эффективности рентгеновской маммографии или безопасности росиглитазона, метааналитики навлекали на себя бурную и даже гневную реакцию научного сообщества и фармацевтических корпораций. Метаанализ охотно принимают, когда он не подвергает сомнению экспертное мнение или общественную политику, и он получает одобрение, когда подтверждает экспертное мнение. Метаанализ, который ставит под сомнение общепринятое экспертное мнение, часто считают ересью [2].

Конечно, многие метаанализы не демонстрируют снижения эффекта со временем, величина эффекта может оставаться постоянной и даже увеличиваться. Это может говорить о наличии реальных эффектов. Однако нужно исключить ещё одну альтернативу: публикационное смещение может быть настолько большим, что оно даже не позволяет возникнуть опровержению. В таких случаях литература кристаллизируется вокруг ложных утверждений, так как метаанализ несёт в себе систематические ошибки всех тех фрагментов данных, из которых он состоит. Это привело к тому, что противники метаанализа бесцеремонно называют его «мусор на входе – мусор на выходе» [2]. 

Помните, что, проводя метаанализ, мы просто ведём поиски под уличным фонарём, ограниченные тем, что сделали другие [J. Ioannidis, 2010 г.].

Самой обсуждаемой проблемой стало публикационное смещение. Почему-то главным поводом для беспокойства в литературе стало то, что существуют неизвестные исследования, но они пропадают в ящике стола. Хотя эта проблема более распространена, чем несуществующие исследования, которые тем не менее попадаются на глаза (фабрикации, явная фальсификация), публикационное смещение для целых исследований – не самая большая проблема [2]. 

Критерии включения и исключения – это волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения метаанализа. Разные данные, анализы и интерпретации дают возможность прийти к любому желаемому заключению [J. Ioannidis, 2010 г.].

Выборочное представление и выборочный анализ отдельных данных являются самой большой и сложно обнаруживаемой проблемой, вызывающей тревогу. Выборочное представление результатов, которое реализуется через сокрытие информации об отдельных результатах, схоже с публикационным смещением в том, что «отрицательные» результаты могут быть не опубликованы. Представление результатов выборочного анализа может ещё чаще встречаться. Оно заключается в том, что результаты, которые должны были оказаться «отрицательными» согласно точному, заранее определённому плану статистического анализа (если он вообще существовал), анализируют таким образом, что они становятся «положительными». Между этими видами недобросовестного обращения с данными существует континуум, так как часть анализа подразумевает определение и обработку конечной информации [2].

Оценка методологического качества систематических обзоров и метаанализов

В настоящее время разработаны валидизированные инструменты-вопросники для оценки методологического качества систематических обзоров и метаанализов, такие как AMSTAR (A MeaSurement Tool to Assess Reviews – Измерительный инструмент для оценки обзоров) [9]. Система AMSTAR (см. табл. 3) оценивает систематические обзоры по 11 критериям. Каждому из критериев присваивается оценка «да» (было выполнено), «нет» (не было выполнено) или «неясно». За оценку «да» присваивается 1 балл и 0 баллов за оценки «нет» и «неясно». Уровень «а» (систематические обзоры высокого методологического качества) присваивается при количестве баллов 8–11; уровень «b» (среднего качества) при количестве баллов 4–7; уровень «с» (низкого качества) при количестве баллов 0–3 [4].

Таблица 3. Критерии оценки методологического качества систематических обзоров и метаанализов на основе опросника AMSTAR [9]

ХАРАКТЕРИСТИКА			БАЛЛЫ
1. Был ли дизайн исследования заявлен заранее?
Да	Цель работы (в форме клинического вопроса) и критерии включения исследований были определены в Протоколе или Плане систематического обзора заранее (например, в обзорах с доступным Протоколом или в обзорах в рамках научно-исследовательской программы)	1
Нет	Авторы указали на отсутствие Протокола	0
Неясно	Нет информации	0
2. Были ли отбор исследований и/или извлечение данных выполнены независимо двумя исследователями?
Да	Было выполнено хотя бы одно из следующих условий: -         как минимум два исследователя независимо друг от друга выполнили отбор работ; описан способ достижения консенсуса в случае возникновения разногласий; -         как минимум два исследователя независимо друг от друга выполнили извлечение данных; -         описан способ достижения консенсуса в случае возникновения разногласий	1
Нет	Авторы указали, что каждая из процедур (отбор исследований и извлечение данных) была выполнена одним исследователем	0
Неясно	Нет информации	0
3. Был ли поиск литературных источников исчерпывающим?
Да	Были выполнены два условия: 1)       использовались как минимум 2 электронные библиографические базы данных, приведены их названия, временной диапазон поиска, ключевые слова и/или термины MeSH*, стратегия поиска (если последнее было возможно); 2)       для поиска использовались дополнительные источники информации – оглавления журналов, обзоры, учебная литература, специализированные регистры, библиографические перечни из уже включённых исследований, консультации с профильными экспертами	1
Нет	Имело место хотя бы одно из следующих обстоятельств: -         для поиска была использована только одна электронная база данных; -         не были использованы дополнительные источники информации	0
Неясно	Нет информации, или приводится неполная информация (например, указаны базы данных, но не указаны ключевые слова и период поиска)	0
4. Был ли тип или язык публикации использован в качестве критерия отбора исследований?
Да	Авторы искали отчёты об исследованиях независимо от типа публикации (поиск осуществлялся в том числе и в «серой» литературе – неопубликованных отчётах, препринтах, рабочих материалах и др.) или языка публикации	1
Нет	Авторы указали, что исключали исследования на основании типа или языка публикации	0
Неясно	Нет информации	0
ХАРАКТЕРИСТИКА			БАЛЛЫ
5. Перечислены ли все исследования (включённые и исключённые)?
Да	В публикации приведены перечни включённых и исключённых исследований, а также указано сколько исследований было: -         найдено в результате поиска; -         рассмотрено для включения; -         включено и исключено (с указанием причины исключения)	1
Нет	Нет информации, или представлен перечень только включённых исследований	0
Неясно	Неполная информация (например, исключённые исследования были перечислены только в библиографическом списке, но не в тексте обзора)	0
6. Дана ли характеристика включённым исследованиям?
Да	Для каждого из включённых исследований в табличной форме или в тексте приведены сведения о пациентах, вмешательствах и клинических исходах с указанием важных для рассматриваемого клинического вопроса характеристик (например, возраст, раса, пол, социально-экономические данные, стадия и тяжесть заболевания, его длительность, сопутствующие заболевания)	1
Нет	Нет информации	0
Неясно	Неполная информация (например, приведены только год публикации и информация о вмешательстве или были охарактеризованы не все включённые исследования)	0
7. Была ли проведена оценка методологического качества исследований, описаны ли её результаты?
Да	Авторы провели оценку методологического качества исследований на основе заявленных методов и представили её результаты (для совокупности исследований и/или для каждого отдельного исследования)	1
Нет	Нет информации	0
Неясно	Авторы указали, что оценка методологического качества исследований была проведена, но не пояснили, каким образом это было сделано	0
8. Учтено ли качество исследований в должной степени при формулировании выводов?
Да	Результаты оценки качества исследований были рассмотрены при проведении анализа и в должной степени учтены при формулировании выводов и вынесении рекомендаций	1
Нет	Оценка качества исследований была выполнена, но её результаты не были учтены при проведении анализа, формулировании выводов и вынесении рекомендаций	0
Неясно	Влияние качества исследований на результаты анализа неясно или не было учтено при формулировании выводов	0
9. Было ли обобщение результатов исследований проведено с помощью адекватных методов?
Да	Соблюдалось хотя бы одно из следующих условий: 1)       при выборе статистической модели метаанализа были учтены результаты оценки гетерогенности исследований. При наличии статистически значимой гетерогенности исследований была рассмотрена клиническая приемлемость объединения результатов и использована модель случайных эффектов; 2)       по умолчанию использовалась модель случайных эффектов; 3)       было возможно ограничиться только описательным обобщением результатов	1
Нет	Авторы установили наличие гетерогенности, но не учли её и использовали модель фиксированного эффекта	0
Неясно	При наличии хотя бы одного из следующих обстоятельств: -         не приведены результаты теста на гетерогенность и использована модель фиксированного эффекта; -         не указано, какая модель (фиксированного или случайных эффектов) использована для объединения результатов	0
10. Была ли проведена оценка публикационного смещения?
Да	Публикационное смещение оценено с помощью графических средств, например воронкообразной диаграммы рассеяния, и/или статистических тестов	1
Нет	Нет информации	0
Неясно	Авторы упомянули оценку публикационного смещения, но не представили её результаты	0
11. Заявлен ли конфликт интересов и указаны ли источники финансирования?
Да	Источники финансирования и конфликт интересов описаны	1
Нет	Конфликт интересов или источники финансирования не описаны	0
Примечание: * MeSH – Medical Subject Headings (медицинские тематические рубрики)

_________

Источник: Включение лекарственных препаратов в ограничительные перечни: пошаговый алгоритм / под общ. ред. Белоусова Д. Ю., Зырянова С. К., Колбина А. С. — М. : Издательство ОКИ : Буки Веди, 2019. — 252 с. : ил. ISBN 978-5-4465-2555-3. https://clck.ru/MBP84  

_________

Литература

1. Тихова Г. П. Графический портрет результатов метаанализа [Электронный ресурс] // Регионарная анестезия и лечение острой боли. – 2013. – Т. 7. – № 2. – С. 48–52. – Режим доступа: https://clck.ru/FFnPk
2. Ioannidis J. Meta-research: The art of getting it wrong [Электронный ресурс] // Res. Syn. Meth. – 2010. – № 1. – С. 169–184. – Режим доступа: https://clck.ru/FFnQt
3. Постановление Правительства РФ от 28.08.2014 № 871 «Об утверждении правил формирования перечней лекарственных препаратов для медицинского применения и минимального ассортимента лекарственных препаратов, необходимых для оказания медицинской помощи» (в редакции постановлений Правительства РФ от 12.06.2017 № 700, от 29.10.2018 № 1283, от 20.11.2018 № 1390) [Электронный ресурс]. – Режим доступа: https://clck.ru/FwwBc
4. Методические рекомендации по оценке сравнительной клинической эффективности и безопасности лекарственного препарата. Утверждены приказом ФГБУ «ЦЭККМП» Минздрава России от 23.12.2016 № 145-од [Электронный ресурс]. – Режим доступа: https://clck.ru/ETmw8
5. Метаанализ [Электронный ресурс]. – Режим доступа: https://clck.ru/FFnVj
6. Методические рекомендации по проведению метаанализа. Утверждены приказом ФГБУ «ЦЭККМП» Минздрава России от 29.12.2017 № 181-од [Электронный ресурс]. – Режим доступа: https://clck.ru/ETmwg
7. Управление клиническими исследованиями [Электронный ресурс] / под общ. ред. Белоусова Д. Ю., Зырянова С. К., Колбина А. С. – 1-е изд. – М. : Буки Веди : Издательство ОКИ, 2017. – 676 с. : ил. – Режим доступа: https://clck.ru/Ec85Z
8. DerSimonian R., Laird N. Meta-Analysis in Clinical Trials [Электронный ресурс] // Controlled Clinical Trials. – 1986. – № 7. – С. 177–188. – Режим доступа: https://clck.ru/Ec8K2
9. Реброва О. Ю., Федяева В. К. Метаанализы и оценка их методологического качества. Русскоязычная версия вопросника AMSTAR [Электронный ресурс] // Медицинские технологии. Оценка и выбор. – 2016. – № 1. – С. 10–16. – Режим доступа: https://clck.ru/FFnWn