.png)
От систематического обзора к метаанализу
- Методология /
-
6486
В основе формирования доказательной базы при подготовке досье для включения ЛП в Перечни лежит оценка сравнительной эффективности и безопасности в формате систематического обзора по изучаемому ЛП. В данном параграфе мы подробно расскажем о методологии проведения систематического обзора для сравнительной оценки эффективности и безопасности ЛП.
Систематический обзор (англ. systematic review) – это исследование, в ходе которого проводится критический анализ и оценка результатов других исследований для того, чтобы ответить на заранее сформулированный ясный клинический вопрос при помощи методов, позволяющих свести к минимуму возможность появления систематической и случайной ошибки.
Задача систематического обзора – это критический анализ публикаций по конкретной проблеме, связанной со здоровьем. В нём используются точные, стандартизированные методы отбора и оценки статей.
Систематический обзор является структурированным процессом, включающим:
- правильно сформулированный вопрос;
- полноценный и профессиональный поиск информации;
- несмещённый процесс отбора публикаций и извлечения фактических данных из них;
- критическую оценку данных;
- синтез данных.
Различия между обзорами литературы и систематическими обзорами
Методология систематических обзоров принципиально отличается от обзоров литературы, которые обобщают данные по проблеме с точки зрения субъективного мнения автора. В них включаются результаты исследований, независимо от их методологического качества выполнения и статистической обработки данных, а принципы отбора информации не формализованы. Таким образом, методологическая, статистическая и доказательная сторона результатов анализируемых исследований опускается, а основой обзора является обобщение экспертных мнений по проблеме других авторов.
Основное отличие обзоров литературы от систематических обзоров показано в табл. 1.
|
Характеристика |
Обзор литературы |
Систематический обзор |
|
Освещаемые вопросы |
Часто рассматривается широкий спектр вопросов |
Часто посвящён определённому клиническому вопросу |
|
Источники данных и стратегия поиска |
Источники не всегда указаны, стратегия может быть ошибочной |
Источники обычно всеобъемлющи, а стратегия поиска точно изложена |
|
Принцип отбора данных |
Не всегда указан, может быть ошибочным |
Отбор основан на определённых критериях, применяемых одинаковым образом |
|
Методы оценки данных |
Различные |
Строгие, критические методы оценки |
|
Обобщение данных |
Часто качественное |
Количественное (метаанализ) |
|
Выводы |
Иногда научно обоснованные |
Как правило, научно обоснованные |
Основные этапы систематического обзора
1. Определение показаний к применению ЛП, по которым будет проводиться оценка.
2. Определение популяции пациентов по заявленному показанию, согласно коду МКБ-10.
3. Определение препарата(ов) сравнения или альтернативной медицинской технологии:
- ЛП, входящий в ограничительные перечни и предназначенный для лечения заявленного показания, либо комбинация таких ЛП (схема комбинированной терапии);
- схема комбинированной терапии, компоненты которой включены в ограничительные перечни;
- ЛП, не входящий в ограничительные перечни, в случае если ни один ЛП для терапии заявленного показания не включён в ограничительные перечни;
- другие методы лечения в качестве альтернативного метода сравнения, в том числе плацебо, отсутствие лечения, нелекарственное лечение, паллиативная помощь.
4. Определение критериев эффективности (исходов) и безопасности:
- клинические (основные) исходы;
- «суррогатные» (биологические) исходы;
- композитные (составные) исходы.
Предпочтение следует отдавать клиническим исходам, таким как:
- смерть,
- добавленные годы жизни (англ. life years gained (LYG)),
- добавленные годы качественной жизни (англ. quality adjusted life years (QALY)).
5. Систематический поиск и отбор релевантных РКИ с учётом определённых ранее показаний к применению ЛП сравнения и оцениваемых исходов:
- должен выполняться двумя или более независимыми исследователями;
- должен осуществляться в двух или более библиографических базах данных;
- язык публикации не должен являться критерием отбора найденных работ;
- используются только полнотекстовые версии научных публикаций и отчётов, оценка исследований по резюме научных статей не допускается;
- должны быть приведены перечни включённых и исключённых публикаций, указано общее количество работ, найденных в результате поиска в каждой базе данных, количество работ, рассмотренных для включения, количество включённых и исключённых работ с указанием причин исключения;
- должен быть описан способ достижения консенсуса между исследователями, в случае возникновения разногласий относительно включения РКИ в систематический обзор / исключения из обзора.
6. Анализ результатов найденных РКИ, включая оценку уровня доказательности данных (см. табл. 2) и методологического качества исследований в зависимости от их дизайна (см. табл. 6 и 7), с описанием критериев эффективности и безопасности, включая описательную статистику.
7. Обобщение (синтез) результатов, полученных в разных РКИ (при необходимости):
- метаанализ (МА), при наличии как минимум одного релевантного РКИ, не включённого в опубликованные МА, а также отсутствие опубликованных МА при условии, что отобрано более одного релевантного РКИ;
- непрямое сравнение – при отсутствии опубликованных прямых сравнительных исследований ЛП и сравниваемых альтернатив;
- смешанное сравнение – при отсутствии опубликованных прямых сопоставительных РКИ изучаемого ЛП и сравниваемых альтернатив и обоснований для проведения непрямого сравнения по результатам различных РКИ;
- сетевой МА – при наличии как минимум одного релевантного РКИ, не включённого в опубликованные сетевые МА, а также отсутствие опубликованных сетевых МА при условии наличия различных путей проведения непрямого сравнения исследуемых ЛП и сравниваемых альтернатив.
8. Формулировка выводов, с указанием уровня доказательности данных (см. табл. 2), на основании результатов которых формируются выводы по каждому отдельному исходу
Таблица 2. Пирамида иерархии уровней доказательности исследований и методологического качества [1]
|
Тип исследования (дизайн) |
Методологическое качество * |
Уровень доказательности |
|
Метаанализ рандомизированных контролируемых исследований |
Высокое |
Ia |
|
Удовлетворительное |
Ib |
|
|
Низкое |
Ic |
|
|
Рандомизированные контролируемые исследования |
Высокое |
IIa |
|
Удовлетворительное |
IIb |
|
|
Низкое |
IIc |
|
|
- Сетевой метаанализ - Непрямое сравнение - Смешанное сравнение |
Высокое |
IIIa |
|
Низкое |
IIIc |
|
|
Метаанализ сравнительных исследований разных дизайнов |
Высокое |
IIIa |
|
Удовлетворительное |
IIIb |
|
|
Низкое |
IIIc |
|
|
Нерандомизированное контролируемое проспективное исследование |
Высокое |
IVa |
|
Удовлетворительное |
IVb |
|
|
Низкое |
IVc |
|
|
Ретроспективное исследование |
Высокое |
IVa |
|
Удовлетворительное |
IVb |
|
|
Низкое |
IVc |
|
|
- Несравнительное исследование - Описание клинических случаев - Экспертное консенсусное мнение либо клинический опыт признанного эксперта |
- |
V |
|
Примечание: * Методологическое качество отобранных РКИ оценивается посредством опросника (см. табл. 6), а результаты вносятся в табл. 7 и 8; методологическое качество отобранных систематических обзоров и метаанализов оценивается посредством опросника AMSTAR (см. табл. 11), а результаты вносятся в табл. 8. |
||
Чтобы повысить качество представления информации о методах и результатах систематических обзоров, международной группой экспертов были разработаны рекомендации о «Предпочтительных параметрах отчётности для систематических обзоров и метаанализа» – PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analysis) – список из 27 пунктов, по каждому из которых авторам систематических обзоров настоятельно рекомендуется представлять полную информацию (см. табл. 3) [2].
Таблица 3. Основные разделы систематического обзора
|
№ |
Раздел / тема |
Характеристики |
|
НАЗВАНИЕ |
||
|
1. |
Название |
Идентифицируйте отчёт как систематический обзор, или метаанализ, или и то и другое |
|
РЕФЕРАТ |
||
|
2. |
Структурированное краткое описание |
Представьте структурированное краткое описание, которое включает в себя, если применимо: вводную информацию; цели; источники данных; критерии приемлемости исследования, участников и вмешательств; методы оценки и синтеза исследования; результаты; ограничения; заключения и выводы о ключевых результатах; регистрационный номер систематического обзора |
|
ВВЕДЕНИЕ |
||
|
3. |
Обоснование |
Опишите обоснование обзора в контексте того, что уже известно |
|
4. |
Цели |
Представьте чёткое описание рассматриваемых вопросов с указанием характеристик пациентов, вмешательств, сравнения, исходов и дизайна исследования (PICOS)* |
|
МЕТОДЫ |
||
|
5. |
Протокол и регистрация |
Укажите, имеется ли Протокол обзора и можно ли и где можно его посмотреть (например, веб-адрес), и, при наличии, предоставьте регистрационную информацию, включая регистрационный номер |
|
6. |
Критерии включения / исключения |
Укажите характеристики исследования (например, PICOS, длительность последующего наблюдения) и характеристики отчёта (например, рассматриваемые годы, язык, статус публикации), которые использовались как критерии приемлемости, представляя обоснование |
|
7. |
Источники информации |
Опишите все источники информации (например, базы данных с датами просмотра, контакт с авторами исследования для определения дополнительных исследований) в поиске и дату последнего поиска |
|
8. |
Поиск |
Представьте полную стратегию электронного поиска, как минимум по одной базе данных, включая любые использованные ограничения, так, чтобы можно было её повторить |
|
9. |
Отбор исследований |
Укажите процесс отбора исследований (т. е. скрининг, приемлемость, включение в систематический обзор и, если применимо, включение в метаанализ) |
|
10. |
Процесс сбора данных |
Опишите метод извлечения данных из отчётов (например, самостоятельно или проведено двумя специалистами) и процесс получения и подтверждения данных от исследователей |
|
11. |
Данные |
Перечислите и определите все переменные, для которых осуществлялся поиск данных (например, PICOS), и любые внесённые предположения и упрощения |
|
12. |
Риск предвзятости в отдельных исследованиях |
Опишите методы, использованные для оценки риска предвзятости отдельных исследований (включая информацию о том, было ли это сделано на уровне исследования или на уровне результатов), и как данная информация должна будет использоваться в синтезе данных |
|
13. |
Обобщённая величина эффекта |
Укажите основные виды обобщённой величины эффекта (например, относительный риск, отношение рисков, стандартизированная разница средних) |
|
14. |
Синтез результатов |
Опишите методы управления данными и объединения результатов исследований, если выполняли, укажите наличие гетерогенности (например, I2) для каждого метаанализа |
|
15. |
Риск предвзятости по всем исследованиям |
Укажите оценку риска предвзятости, которая может повлиять на совокупность доказательств (например, предвзятость в публикациях, выборочная отчётность в исследованиях) |
|
16. |
Дополнительные анализы |
Опишите методы дополнительных анализов (например, анализы чувствительности или подгрупп, метарегрессия), если выполняли, укажите, какие из них были заранее определены |
|
РЕЗУЛЬТАТЫ |
||
|
17. |
Отбор исследования |
Приведите количество исследований, которые были отобраны, оценены на приемлемость и включены в обзор, указав причины исключения на каждой стадии, в идеале с блок-схемой (см. рис. 1) |
|
18. |
Характеристики исследования |
Для каждого исследования представьте характеристики, по которым были извлечены данные (например, размер исследования, PICOS, период последующего наблюдения), и представьте ссылки |
|
19. |
Риск предвзятости внутри исследований |
Представьте данные по риску предвзятости по каждому исследованию и, если имеется, оценку на уровне результатов (см. пункт 12) |
|
20. |
Результаты отдельных исследований |
По всем рассмотренным результатам (польза или вред), представьте для каждого исследования: (а) простые суммарные данные для каждой группы вмешательства, (б) оценку величины эффекта и доверительный интервал (ДИ), в идеале с форест-диаграммой (см. рис. 2) |
|
21. |
Синтез результатов |
Представьте результаты каждого выполненного метаанализа, включая ДИ и оценку гетерогенности |
|
22. |
Риск предвзятости по всем исследованиям |
Представьте результаты оценки риска предвзятости по всем исследованиям (см. пункт 15) |
|
23. |
Дополнительные анализы |
Представьте результаты дополнительных анализов, если выполняли (например, анализы чувствительности или анализ подгрупп, мета-регрессия (см. пункт 16)) |
|
ОБСУЖДЕНИЕ |
||
|
24. |
Краткое описание доказательств |
Кратко опишите основные результаты, включая уровень доказательности (см. табл. 2) для каждого основного результата; рассмотрите их значимость для ключевых групп (например, медицинские работники, регулирующие органы здравоохранения) |
|
25. |
Ограничения |
Обсудите ограничения на уровне исследования и уровне результатов (например, риск предвзятости) и на уровне обзора (например, неполное получение определённых научных исследований, предвзятость в отчётности) |
|
26. |
Заключение |
Представьте общую интерпретацию результатов в контексте других доказательств и выводы для будущих исследований |
|
ФИНАНСИРОВАНИЕ |
||
|
27. |
Источники финансирования |
Опишите источники финансирования проведения систематического обзора и другую поддержку (например, предоставление данных); роль источников финансирования для систематических обзоров |
|
Примечания: * PICOS – P (Patient, пациент), I (Intervention, вмешательство), C (Comparison, сравнение), O (Outcome, исход), S (Study type, дизайн исследования); I2 – индекс гетерогенности результатов в процентах; ДИ – доверительный интервал |
||
Рис. 1. Поэтапная схема отбора исследований в систематический обзор по рекомендации PRISMA
Рис. 2. Пример построения и интерпретация форест-диаграммы [3]
Информационный поиск исследований
Подготовка систематического обзора – это чрезвычайно кропотливая поисково-аналитическая работа, в процессе которой оценивают методологическое качество каждого исследования и «доказательность» декларируемых выводов, выявляют причины различий в результатах отдельных исследований и решают вопрос о возможности применения полученной информации для дальнейшего анализа.
Иногда исследования, включённые в систематический обзор, берутся только из одной библиотеки, имеют общую системную ошибку и не включают многих других, полезных исследований, поэтому данные бывают ненадёжными. Ограниченный поиск может дать нерепрезентативный набор исследований, что выливается в публикации неполных результатов, ведёт к снижению обобщаемости, смещению результатов, когда положительные результаты преувеличиваются, а нейтральные или отрицательные – опускаются.
Информационный поиск публикаций рекомендуется проводить как минимум в двух поисковых системах. Начинать надо с Кокрейновского регистра контролируемых исследований (Cochrane Control Trials Registry, CENTRAL) [4] (уже включены клинические исследования из MEDLINE® и EMBASE©), далее в базах данных MEDLINE® [5] и EMBASE© [6], поисковых системах Trip [7], MEDIE [8], Google Scholar [9], отечественной электронной библиотеке eLIBRARY [10] и заканчивая отбором записей, полученных ручным поиском в журналах и абстрактах конференций, обзорах и руководствах (например, National Guideline Clearinghouse [11]), списках цитированной литературы и родственных статьях (например, Scopus [12]).
Систематические обзоры требуют обширного информационного поиска в нескольких поисковых системах.
К достоинствам MEDLINE® следует отнести почти полный охват всех медицинских зарубежных журналов, а также её бесплатная доступность. Работа с информационным массивом базы данных осуществляется с помощью поисковой системы PubMed [13], которая позволяет осуществлять поиск не только в базе данных MEDLINE®, но и в других электронных базах данных.
Для того чтобы эффективно искать информацию в базе MEDLINE®, необходимо разбираться в её структуре, процедуре индексации статей, знать язык запросов PubMed, уметь пользоваться указателем медицинских предметных рубрик (MеSН) с разворачиванием списка, выбирать термины для поиска в тексте рефератов и логические операторы для объединения результатов поиска по нескольким запросам.
Стратегия поиска в PubMed должна проводиться по ключевым словам (терминам), выражающим основное смысловое содержание информационного запроса; далее поиск можно детализировать (тип исследования, вмешательство).
Для того чтобы провести простейший поиск, в поисковое окошко вносится термин, например psoriasis. Этот термин, введённый в запрос, PubMed автоматически проверяет на наличие его в базе данных с помощью специальных указателей. Если термину найдено соответствие в одном или нескольких указателях, выбираются все документы, включающие данный термин.
Результаты поиска могут комбинироваться с учётом трёх основных логических операторов: AND (и), OR (или) и NOT (не), которые можно использовать между поисковыми терминами:
- АND (и) используется в том случае, если два или более ключевых слова должны быть найдены в одной публикации (например: psoriasis AND arthritis); кстати, оператор АND использовать не обязательно, так как он автоматически добавляется между терминами;
- ОR (или) – в случае, если хотя бы одно из ключевых слов должно быть найдено (например: psoriasis OR arthritis);
- NОТ (не) – в случае, если только один термин должен быть найден в документе, а второй должен обязательно отсутствовать (например: psoriasis NOT arthritis).
Например, если вам необходимо найти метаанализы, посвящённые препарату «секукинумаб» (secukinumab), применяемому у больных псориазом (psoriasis), но не при псориатическом артрите, то данную стратегию поиска можно представить следующим образом (рис. 3): воспользоваться полем «Тип публикации» (Article types), отметить галочкой тип meta-analysis, ввести в поисковом поле secukinumab psoriasis NOT arthritis.
Сам поисковый запрос в деталях (Search details) будет выглядеть так:
(("secukinumab"[Supplementary Concept] OR "secukinumab"[All Fields]) AND ("psoriasis"[MeSH Terms] OR "psoriasis"[All Fields])) NOT ("arthritis"[MeSH Terms] OR "arthritis"[All Fields]) AND Meta-Analysis[ptyp]
Рис. 2. Пример поискового запроса в PubMed
|
РКИ |
Популяция (N = )
|
Длит. РКИ |
Изучаемый препарат (n = ) |
Препарат сравнения (n = ) |
Средний возраст, лет |
Оцениваемые исходы |
Данные по исходам* |
|
|
РКИ 1 (1-й автор, год [ссылка]) |
|
|
|
|
|
|
|
|
|
РКИ 2 (1-й автор, год [ссылка]) |
|
|
|
|
|
|
|
|
|
РКИ 3 (1-й автор, год [ссылка]) |
|
|
|
|
|
|
|
|
|
Примечания: * ITT-популяция (intention-to-treat) – в анализ включены все пациенты, которые были рандомизированы в группы сравнения, или PP-популяция (per protocol) – в анализ включены только те пациенты, которые закончили лечение |
||||||||
В табл. 5 показан пример базовой характеристики включённых в систематический обзор метаанализов.
Таблица 5. Пример базовой характеристики включённых в систематический обзор метаанализов
|
Метаанализ |
Популяция (N = ) |
Препараты сравнения |
Кол-во РКИ в МА |
Оцениваемые исходы |
|
МА 1 (1-й автор, год [ссылка]) |
|
|
|
|
|
МА 2 (1-й автор, год [ссылка]) |
|
|
|
|
|
МА 3 (1-й автор, год [ссылка]) |
|
|
|
|
|
Примечание: МА – метаанализ |
||||
Для оценки методологического качества отобранных исследований используется методика, разработанная ФГБУ «ЦЭККМП» Минздрава России в Методических рекомендациях по проведению сравнительной клинической эффективности и безопасности лекарственного препарата [1]. В качестве обоснования для вынесения оценки используются сведения из вопросников для оценки методологического качества исследований (выявляется риск возникновения систематической ошибки) в зависимости от их дизайна – для РКИ см. табл. 6; для систематических обзоров и метаанализов – см. табл. 11 [1].
Систематическая ошибка (англ. bias, син. смещение) – отклонение выводов от истины или процесс, приводящий к подобному отклонению. Любое уклонение (искажение) в сборе, анализе, интерпретации, публикации или обзоре данных, ведущее к выводам, которые систематически отличаются от истины.
Таблица 6. Вопросник для оценки риска систематических ошибок в РКИ*
|
1. Метод рандомизации (систематическая ошибка распределения пациентов по группам) |
||
|
По описанию исследователей, случайное распределение пациентов по группам проводилось на основе: - таблицы случайных чисел; - случайной последовательности чисел, генерируемой компьютером; - выбрасывания жребия или монеты; - тасования карт или конвертов; - бросания игральных костей; - принципа минимизации |
Низкий риск |
|
|
Описанный исследователями метод распределения пациентов по группам не обеспечивает случайность распределения, поскольку оно осуществлялось на основе: - даты рождения; - даты включения в испытание; - номера медицинской карты; - мнения клинического врача; - предпочтения пациента; - результатов лабораторных и других тестов; - доступности медицинского воздействия и др. |
Высокий риск |
|
|
Представлено недостаточно информации |
Неопределённый риск |
|
|
2. Сокрытие рандомизационной последовательности (систематическая ошибка распределения пациентов по группам) |
||
|
Пациенты и исследователи, включающие пациентов в испытание, не могут предвидеть, в какую группу попадёт следующий включаемый испытуемый, поскольку для сокрытия рандомизационной последовательности был использован один из следующих методов (или эквивалентный им): - централизованное распределение (по телефону, через интернет или выполняемое независимой исследовательской организацией); - идентичные контейнеры для всех сравниваемых веществ; - запечатанные конверты |
Низкий риск |
|
|
Пациенты и исследователи, включающие пациентов в испытание, могут предвидеть, в какую группу попадёт следующий включаемый испытуемый, поскольку при распределении использовали: - общедоступную рандомизационную последовательность (например, легкодоступный список случайных чисел); - непронумерованные, незапечатанные или прозрачные конверты; - другой метод, который с очевидностью не позволяет скрыть последовательность распределения |
Высокий риск |
|
|
Недостаточно информации (например, авторы не указывают, были ли используемые конверты последовательно пронумерованными, непрозрачными и запечатанными) |
Неопределённый риск |
|
|
3. «Ослепление» пациентов и медперсонала в процессе лечения |
||
|
Выполнено хотя бы одно из следующих условий: - отсутствие «ослепления» не могло повлиять на эффект вмешательства (изучаемый исход – объективный); - «ослепление» пациентов и медперсонала было заявлено или описано и нет оснований предполагать, что оно могло быть нарушено (см. ниже) |
Низкий риск |
|
|
При хотя бы одном из следующих обстоятельств: - отсутствие «ослепления» (при изучении субъективных исходов); - «ослепление» было заявлено, но есть основания предполагать, что оно могло быть нарушено (например, исследователи не учли, что в ходе испытания пациенты и медперсонал могли догадаться о производимом вмешательстве из-за специфического вкуса или цвета препарата, специфических побочных явлений, необходимости в модификации дозы, ярко выраженного эффекта лечения) |
Высокий риск |
|
|
Представлено недостаточно информации |
Неопределённый риск |
|
|
4. «Ослепление» лиц, оценивающих эффективность (систематическая ошибка выявления исходов) |
||
|
Выполнено хотя бы одно из следующих условий: - отсутствие «ослепления» не могло повлиять на оценку эффекта вмешательства (изучаемый исход – объективный); - «ослепление» было заявлено и нет оснований предполагать, что оно могло быть нарушено (см. ниже) |
Низкий риск |
|
|
При хотя бы одном из следующих обстоятельств: - отсутствие «ослепления» (при изучении субъективных исходов); - «ослепление» было заявлено, но есть основания предполагать, что оно могло быть нарушено (например, исследователи не предупредили пациентов, знающих о проводимом им вмешательстве, о неразглашении этой информации лицам, оценивающим эффект; лечение и оценка эффекта проводились одним и тем же врачом, который мог догадаться о производимом пациенту вмешательстве) |
Высокий риск |
|
|
Представлено недостаточно информации |
Неопределённый риск |
|
|
5. Пропуски в данных об исходах (систематическая ошибка пропуска данных) |
||
|
Выполнено хотя бы одно из следующих условий: - нет пропусков в данных об исходах; - возникновение пропусков в данных об исходах, скорее всего, не связано с эффектом вмешательства (например, может быть следствием цензурирования при оценке выживаемости); - доля пропусков в данных об исходах составляет ≤ 20 % и при этом пропуски равномерно распределены между группами сравнения; - адекватный метод восстановления пропущенных данных (использование информации, полученной при последнем визите пациента, средних значений признака, пессимистического сценария и др.); - для оценки эффекта применялся анализ времени до события |
Низкий риск |
|
|
При наличии хотя бы одного из следующих обстоятельств: - пропуски в данных об исходах, скорее всего, связаны с эффектом вмешательства, которое привело к неравномерному распределению пропусков данных или несопоставимости причин их возникновения между группами сравнения; - доля пропусков в данных об исходах составляет >20 %; - доля пропусков в данных об исходах составляет ≤ 20 %, но был использован неадекватный метод восстановления пропущенных данных (использование оптимистического сценария и т. д.) |
Высокий риск |
|
|
Недостаточно информации (например, не указано число рандомизированных пациентов, не приведены причины пропусков данных, не описан метод восстановления пропущенных данных и т. д.) |
Неопределённый риск |
|
|
6. Представление результатов исследования (систематическая ошибка представления результатов) |
||
|
Выполнено хотя бы одно из следующих условий: - имеется информация о том, какие исходы были запланированы для изучения в исследовании (например, в Протоколе исследования, в регистрах клинических исследований, в предварительных публикациях и т. п.) и результаты по всем заявленным исходам были представлены в отчётах об исследовании; - нет информации о том, какие исходы были запланированы для изучения в исследовании, но в отчётах об исследовании ясно указано, что были приведены результаты по всем заявленным в Протоколе исходам |
Низкий риск |
|
|
При наличии хотя бы одного из следующих обстоятельств: - представлены результаты не по всем основным исходам**, заявленным до начала исследования; - результаты по основным исходам были представлены на основании незаявленных методов измерения и анализа данных (например, на основании лишь части оценочной шкалы и т. п.); - представлены результаты дополнительных основных исходов, которые не были заявлены до начала исследования (исключая случаи, когда их включение в исследование было обоснованным, например при появлении непредвиденной нежелательной реакции); - в отчётах об исследовании не были представлены результаты по исходам, которые должны быть включены в подобное исследование |
Высокий риск |
|
|
Представлено недостаточно информации |
Неопределённый риск |
|
|
Другие возможные источники систематических ошибок, например: |
||
|
- конфликт интересов; - сложный дизайн исследования (более двух групп сравнения, перекрёстный план, последовательный план и т. д.); - отклонение от Протокола исследования, противоречащее стандартам Надлежащей клинической практики; - недостаточная длительность исследования для оценки заявленных в Протоколе клинических исходов; - малый размер выборки (менее 20 наблюдений хотя бы в одной из групп) |
Низкий риск – нет источника возникновения других систематических ошибок |
|
|
Высокий риск – есть дополнительный источник систематических ошибок и он не был нивелирован при проведении исследования |
||
|
Неопределённый риск – представлено недостаточно информации |
||
|
Дополнительный источник систематических ошибок: конфликт интересов |
||
|
В статье явно указано, что компания – производитель ЛП (или другого вмешательства) не оказывала влияния на проведение исследования и подготовку публикации, авторы публикации не являются сотрудниками компании-производителя и не получали от неё гонораров |
Низкий риск |
|
|
При наличии хотя бы одного из следующих обстоятельств: - в статье явно указано, что производитель ЛП (или другого вмешательства) непосредственно участвовал в проведении исследования, подготовке публикации; - сотрудник компании-производителя является автором публикации; - автор получал персональные гонорары или гранты от производителя |
Высокий риск |
|
|
Представлено недостаточно информации |
Неопределённый риск |
|
|
Примечания: * Уровень доказательности «IIа» присваивается при низком риске всех ошибок или неопределённом риске одной (любой) систематической ошибки (СО), уровень «IIb» при неопределённом риске двух и более СО, уровень «IIc» при высоком риске одной и более СО. ** Основные исходы – исходы, которые имеют наибольшее значение для пациентов или системы здравоохранения |
||
Результаты оценки методологического качества отобранных клинических исследований приводятся в виде таблицы (см. табл. 7). Далее приводится таблица с указанием итоговой оценки методологического качества отобранных в систематический обзор исследований и их уровней доказательности (табл. 8).
Таблица 7. Оценка методологического качества клинических исследования [1]
|
Название домена / критерии оценки |
Риск систематической ошибки* / балл по шкале** / усиление / ослабление достоверности / ответ невозможен*** |
Обоснование для вынесения оценки |
|
1. |
|
|
|
2. |
|
|
|
Заключение о методологическом качестве исследования |
Высокое / удовлетворительное / низкое (подчеркнуть) |
|
|
Примечания: * Для рандомизированных контролируемых исследований. ** Для метаанализов. *** Для непрямых или смешанных сравнений, сетевых метаанализов |
||
При наличии среди отобранных исследований метаанализов, непрямых или смешанных сравнений, сетевых метаанализов их результаты приводятся в первую очередь. Результаты включённых в анализ исследований и/или собственных расчётов могут быть представлены в табличной и/или текстовой форме. Образцы оформления таблиц представления данных оригинальных РКИ для бинарных исходов (например, частота достижения ответа на терапию, частота возникновения нежелательного явления и прочего) и для непрерывных исходов (например, средняя продолжительность госпитализации, средняя продолжительность симптомов и прочего) представлены в табл. 9 и табл. 10 соответственно.
Таблица 9. Эффективность/безопасность лекарственного препарата (указать ЛП) в сравнении с препаратом сравнения (указать медицинскую технологию сравнения) у пациентов с заболеванием (указать заболевание) по критерию (указать бинарный исход) [1]
|
Исследование |
Частота исхода, % (n/N) |
ОР или ОШ (95 % ДИ), p, ТКФ |
|
|
Исследуемый препарат |
Сравниваемый препарат |
|
|
|
РКИ 1 (1-й автор, год [ссылка]) |
|
|
|
|
РКИ 2 (1-й автор, год [ссылка]) |
|
|
|
|
РКИ 3 (1-й автор, год [ссылка]) |
|
|
|
|
Примечания: ОР – относительный риск; ОШ – отношение шансов; ДИ – доверительный интервал; p – показатель статистической значимости; ТКФ – точный критерий Фишера; n/N – количество пациентов, у которых отмечался изучаемый исход / общее количество пациентов, у которых оценивался изучаемый исход |
|||
Таблица 10. Эффективность/безопасность лекарственного препарата (указать ЛП) в сравнении с препаратом сравнения (указать медицинскую технологию сравнения) у пациентов с заболеванием (указать заболевание) по критерию (указать непрерывный исход) [1]
|
Исследование |
Среднее, СКО (N) или среднее, 95 % ДИ (N) |
95 % ДИ для РС |
|
|
Исследуемый препарат |
Сравниваемый препарат |
||
|
РКИ 1 (1-й автор, год [ссылка]) |
|
|
|
|
РКИ 2 (1-й автор, год [ссылка]) |
|
|
|
|
РКИ 3 (1-й автор, год [ссылка]) |
|
|
|
|
Примечания: ДИ – доверительный интервал; СКО – среднеквадратическое отклонение; РС – разность средних; N – общее количество пациентов в группе |
|||
Таблица 11. Критерии оценки методологического качества систематических обзоров и метаанализов на основе опросника AMSTAR [17]
|
ХАРАКТЕРИСТИКА |
БАЛЛЫ |
||
|
1. Был ли дизайн исследования заявлен заранее? |
|||
|
Да |
Цель работы (в форме клинического вопроса) и критерии включения исследований были определены в Протоколе или Плане систематического обзора заранее (например, в обзорах с доступным Протоколом или в обзорах в рамках научно-исследовательской программы) |
1 |
|
|
Нет |
Авторы указали на отсутствие Протокола |
0 |
|
|
Неясно |
Нет информации |
0 |
|
|
2. Были ли отбор исследований и/или извлечение данных выполнены независимо двумя исследователями? |
|||
|
Да |
Было выполнено хотя бы одно из следующих условий: - как минимум два исследователя независимо друг от друга выполнили отбор работ; описан способ достижения консенсуса в случае возникновения разногласий; - как минимум два исследователя независимо друг от друга выполнили извлечение данных; - описан способ достижения консенсуса в случае возникновения разногласий |
1 |
|
|
Нет |
Авторы указали, что каждая из процедур (отбор исследований и извлечение данных) была выполнена одним исследователем |
0 |
|
|
Неясно |
Нет информации |
0 |
|
|
3. Был ли поиск литературных источников исчерпывающим? |
|||
|
Да |
Были выполнены два условия: 1) использовались как минимум 2 электронные библиографические базы данных, приведены их названия, временной диапазон поиска, ключевые слова и/или термины MeSH*, стратегия поиска (если последнее было возможно); 2) для поиска использовались дополнительные источники информации – оглавления журналов, обзоры, учебная литература, специализированные регистры, библиографические перечни из уже включённых исследований, консультации с профильными экспертами |
1 |
|
|
Нет |
Имело место хотя бы одно из следующих обстоятельств: - для поиска была использована только одна электронная база данных; - не были использованы дополнительные источники информации |
0 |
|
|
Неясно |
Нет информации, или приводится неполная информация (например, указаны базы данных, но не указаны ключевые слова и период поиска) |
0 |
|
|
4. Был ли тип или язык публикации использован в качестве критерия отбора исследований? |
|||
|
Да |
Авторы искали отчёты об исследованиях независимо от типа публикации (поиск осуществлялся в том числе и в «серой» литературе – неопубликованных отчётах, препринтах, рабочих материалах и др.) или языка публикации |
1 |
|
|
Нет |
Авторы указали, что исключали исследования на основании типа или языка публикации |
0 |
|
|
Неясно |
Нет информации |
0 |
|
|
ХАРАКТЕРИСТИКА |
БАЛЛЫ |
||
|
5. Перечислены ли все исследования (включённые и исключённые)? |
|||
|
Да |
В публикации приведены перечни включённых и исключённых исследований, а также указано сколько исследований было: - найдено в результате поиска; - рассмотрено для включения; - включено и исключено (с указанием причины исключения) |
1 |
|
|
Нет |
Нет информации, или представлен перечень только включённых исследований |
0 |
|
|
Неясно |
Неполная информация (например, исключённые исследования были перечислены только в библиографическом списке, но не в тексте обзора) |
0 |
|
|
6. Дана ли характеристика включённым исследованиям? |
|||
|
Да |
Для каждого из включённых исследований в табличной форме или в тексте приведены сведения о пациентах, вмешательствах и клинических исходах с указанием важных для рассматриваемого клинического вопроса характеристик (например, возраст, раса, пол, социально-экономические данные, стадия и тяжесть заболевания, его длительность, сопутствующие заболевания) |
1 |
|
|
Нет |
Нет информации |
0 |
|
|
Неясно |
Неполная информация (например, приведены только год публикации и информация о вмешательстве или были охарактеризованы не все включённые исследования) |
0 |
|
|
7. Была ли проведена оценка методологического качества исследований, описаны ли её результаты? |
|||
|
Да |
Авторы провели оценку методологического качества исследований на основе заявленных методов и представили её результаты (для совокупности исследований и/или для каждого отдельного исследования) |
1 |
|
|
Нет |
Нет информации |
0 |
|
|
Неясно |
Авторы указали, что оценка методологического качества исследований была проведена, но не пояснили, каким образом это было сделано |
0 |
|
|
8. Учтено ли качество исследований в должной степени при формулировании выводов? |
|||
|
Да |
Результаты оценки качества исследований были рассмотрены при проведении анализа и в должной степени учтены при формулировании выводов и вынесении рекомендаций |
1 |
|
|
Нет |
Оценка качества исследований была выполнена, но её результаты не были учтены при проведении анализа, формулировании выводов и вынесении рекомендаций |
0 |
|
|
Неясно |
Влияние качества исследований на результаты анализа неясно или не было учтено при формулировании выводов |
0 |
|
|
9. Было ли обобщение результатов исследований проведено с помощью адекватных методов? |
|||
|
Да |
Соблюдалось хотя бы одно из следующих условий: 1) при выборе статистической модели метаанализа были учтены результаты оценки гетерогенности исследований. При наличии статистически значимой гетерогенности исследований была рассмотрена клиническая приемлемость объединения результатов и использована модель случайных эффектов; 2) по умолчанию использовалась модель случайных эффектов; 3) было возможно ограничиться только описательным обобщением результатов |
1 |
|
|
Нет |
Авторы установили наличие гетерогенности, но не учли её и использовали модель фиксированного эффекта |
0 |
|
|
Неясно |
При наличии хотя бы одного из следующих обстоятельств: - не приведены результаты теста на гетерогенность и использована модель фиксированного эффекта; - не указано, какая модель (фиксированного или случайных эффектов) использована для объединения результатов |
0 |
|
|
10. Была ли проведена оценка публикационного смещения? |
|||
|
Да |
Публикационное смещение оценено с помощью графических средств, например воронкообразной диаграммы рассеяния, и/или статистических тестов |
1 |
|
|
Нет |
Нет информации |
0 |
|
|
Неясно |
Авторы упомянули оценку публикационного смещения, но не представили её результаты |
0 |
|
|
11. Заявлен ли конфликт интересов и указаны ли источники финансирования? |
|||
|
Да |
Источники финансирования и конфликт интересов описаны |
1 |
|
|
Нет |
Конфликт интересов или источники финансирования не описаны |
0 |
|
|
Примечание: * MeSH – Medical Subject Headings (медицинские тематические рубрики) |
|||
Публикация систематических обзоров
Обычно проведённые когда-либо систематические обзоры публикуются в базе данных Кокрейновских систематических обзоров (Cochrane Database of Systematic Reviews, CDSR) [14], Международном проспективном регистре систематических обзоров PROSPERO [15], Хранилище данных систематических обзоров (Systematic Review Data Repository, SRDR) [16].
_________
Источник: Включение лекарственных препаратов в ограничительные перечни: пошаговый алгоритм / под общ. ред. Белоусова Д. Ю., Зырянова С. К., Колбина А. С. — М. : Издательство ОКИ : Буки Веди, 2019. — 252 с. : ил. ISBN 978-5-4465-2555-3. https://clck.ru/MBP84
_________
Литература
- Методические рекомендации по оценке сравнительной клинической эффективности и безопасности лекарственного препарата. Утверждены приказом ФГБУ «ЦЭККМП» Минздрава России от 23.12.2016 № 145-од [Электронный ресурс]. – Режим доступа: https://clck.ru/ETmw8
- Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) [Электронный ресурс]. – Режим доступа: http://prisma-statement.org/
- Тихова Г. П. Графический портрет результатов метаанализа [Электронный ресурс] // Регионарная анестезия и лечение острой боли. – 2013. – Т. 7. – № 2. – С. 48–52. – Режим доступа: https://clck.ru/FFnPk
- Кокрейновский регистр контролируемых исследований = Cochrane Control Trials Registry, CENTRAL [Электронный ресурс]. – Режим доступа: https://www.cochranelibrary.com/central/about-central
- Библиографическая база MEDLINE® [Электронный ресурс]. – Режим доступа: https://www.nlm.nih.gov/bsd/medline.html
- Библиографическая база EMBASE© [Электронный ресурс]. – Режим доступа: https://www.elsevier.com/solutions/embase-biomedical-research
- Поисковая система Trip [Электронный ресурс]. – Режим доступа: https://www.tripdatabase.com/
- Поисковая система MEDIE [Электронный ресурс]. – Режим доступа: http://www.nactem.ac.uk/tsujii/medie/
- Поисковая система Google Scholar [Электронный ресурс]. – Режим доступа: https://scholar.google.ru/
- Электронная библиотека eLIBRARY [Электронный ресурс]. – Режим доступа: https://elibrary.ru/defaultx.asp
- National Guideline Clearinghouse [Электронный ресурс]. – Режим доступа: https://www.ahrq.gov/research/findings/evidence-based-reports/index.html
- Scopus [Электронный ресурс]. – Режим доступа: https://www.scopus.com/home.uri
- Поисковая система PubMed [Электронный ресурс]. – Режим доступа: http://www.ncbi.nlm.nih.gov/PubMed/
- База данных Кокрейновских систематических обзоров = Cochrane Database of Systematic Reviews, CDSR [Электронный ресурс]. – Режим доступа: https://www.cochranelibrary.com/cdsr/reviews
- Международный проспективный регистр систематических обзоров PROSPERO = International prospective register of systematic reviews PROSPERO [Электронный ресурс]. – Режим доступа: https://www.crd.york.ac.uk/PROSPERO/
- Хранилище данных систематических обзоров = Systematic Review Data Repository, SRDR [Электронный ресурс]. – Режим доступа: https://srdr.ahrq.gov/projects/published
- Реброва О. Ю., Федяева В. К. Метаанализы и оценка их методологического качества. Русскоязычная версия вопросника AMSTAR [Электронный ресурс] // Медицинские технологии. Оценка и выбор. – 2016. – № 1. – С. 10–16. – Режим доступа: https://clck.ru/FFnWn