Исследования сравнительной эффективности

Авторы: Колбин А.С. , Курылев А.А. , Павлыш А.В. , Белоусов Д.Ю.

Скачать PDF версию статьи: (загрузить)

Актуальность

В большинстве стран мира пришли к пониманию того, что любая медицинская технология должна быть подвергнута научной (либо экспертной) оценке. Особенно данный вопрос становится актуальным, когда речь идёт о финансировании или возмещение расходов на лекарственные средства со стороны государства или страховых компаний. Это выразилось в формировании системы, получившей общее название «Health Technology Assessment» (HTA – оценка медицинских технологий (ОМТ)) [1, 2]. Особую роль отводят сравнительным исследованиям, в которых применяют экспертную оценку эффективности различных медицинских технологий. В то же время, даже в тех странах, где ОМТ уже активно используют, окончательно не сформирован понятийный (терминологический) аппарат. В частности, для определения исследований сравнительной эффективности в одних публикациях используют термин «comparative effectiveness research» (CER), в других – «relative effectiveness assessment» (REA) [3, 4]. Хотя в любом случае речь идёт о сравнении альтернативных методов медицинских вмешательств после регистрации медицинской технологии в реальной клинической практике. Тем более затруднительно использование такого понятийного аппарата в России. Мы полагаем, что существует необходимость унифицировать понятия и термины с целью их гармонизации, т.е. повышения доступности их применения.

Цель статьи

Оценка основных понятий, относящихся к исследованию сравнительной эффективности, методологий их проведения.

Методика

Был проведён анализ публикаций в период с 1990 по 2012 гг. на предмет выявления данных, посвящённых исследованиям по сравнительной эффективности. Поиск производили в системах MEDLINE, Cochrane Library, EMBASE, eLibrary.ru.

Ключевые слова: comparative effectiveness assessment, health technology assessment, health related quality of life, исследования сравнительной эффективности, оценка медицинских технологий, оценка технологий здравоохранения, качество жизни.

Критерии включения. В анализ вошли публикации, в которых описывали исследования по сравнительной эффективности.

Критерии исключения. Исследования, посвящённые обсуждению сравнительной действенности.

Результаты

Определения. История вопроса. Несмотря на незначительный период использования методов ОМТ можно проследить современные тенденции их развития, в том числе, понятийного аппарата, на примере оценки сравнительной эффективности (REA / ОСЭ) или исследований сравнительной эффективности (CER / ИСЭ). Выбор этот неслучаен, так как сегодня на использование именно таких результатов возлагают большие надежды как в США, так и в Европе – основных регионах с точки зрения объёма затрат на здравоохранение. Под термином «сравнительная» подразумевают «comparative» и «relative», под термином «эффективность» – «effectiveness» (позитивный результат, полученный в условиях реальной клинической практики). В 2005 г. в рамках Европейской комиссии с участием стран-членов Европейского парламента, а также широкого круга заинтересованных сторон, был создан Фармацевтический Форум (Pharmaceutical Forum) для анализа проблем, связанных с предоставлением пациентам информации о лекарствах, ценообразовании (pricing), политике возмещения (reimbursement policy), оценке сравнительной эффективности (REA). В отчёте Форума за 2008 год были приняты рабочие определения эффективности, сравнительной (относительной) эффективности, действенности и сравнительной (относительной) действенности (табл. 1) [5].

Таблица 1

Краткая характеристика используемых терминов [5]

Термин	Действенность	Сравнительная действенность	Эффективность	Сравнительная эффективность
Определение: в чём польза	В идеальных (контролируемых) обстоятельствах вмешательство скорее приносит пользу, чем вред	В идеальных обстоятельствах вмешательство скорее приносит пользу, чем вред, в сравнении с альтернативными вмешательствами	В обстоятельствах обычной лечебной практики вмешательство скорее приносит пользу, чем вред	В обстоятельствах обычной лечебной практики вмешательство скорее приносит пользу, чем вред, в сравнении с альтернативными вмешательствами
Основные черты	Рандомизация против плацебо; отбор пациентов; широко известные центры	Рандомизация против активного контроля; либо использование непрямого сравнения испытаний против плацебо, либо активные компараторы	Наблюдательное исследование; гетерогенная выборка пациентов; типичная среда лечения; обычно сравнивается с другими методами лечения	Наблюдательное исследование нескольких соревнующихся вмешательств; или же РКИ*

Примечание. * РКИ – рандомизированные контролируемые исследования

В 2006 году в Европе по инициативе членов Европейского Союза в Группе Высокого Уровня по Вопросам Здравоохранения (High Level Group on Health Services) была создана Европейская Сеть по Оценке Медицинских Технологий (European Network for Health Technology Assessment, EuNeHTA). Инициатива началась с запуска рабочей программы, предполагавшей создание общей европейской «базовой модели» (pan-European «core model») ОМТ, с первичными отчётами по диагностике, медицинским и хирургическим вмешательствам. Основной целью усилий EuNeHTA было внедрение в обычную медицинскую практику в Европе наиболее эффективного и подходящего варианта использования ОМТ на общеевропейском, национальном и региональном уровнях. С 2011 года рабочая программа EuNeHTA включает в себя исследования медицинских технологий, отражающие современную направленность в Европе на CER / ИСЭ.

В 2009 году в США, в соответствии с законом «О восстановлении и реинвестировании американской экономики» (American Reinvestment and Recovery Act 2009) был создан федеральный координационный совет для ИСЭ (Federal Coordinating Council For Comparative Effectiveness Research) [6]. Этот Совет определил ИСЭ как «проведение и обобщение результатов исследований, сравнивающих преимущества и недостатки различных методов и стратегий для профилактики, диагностики, лечения и мониторинга состояния здоровья в условиях «реального мира» [7]. Отмечено, что целью такого исследования является информирование пациентов, исполнителей и лиц, принимающих решения, в соответствии с их выраженными потребностями, о том, какие мероприятия наиболее эффективны для какой популяции пациентов и при каких обстоятельствах. Для предоставления этой информации ИСЭ должно оценить полный набор исходов, связанных со здоровьем, у различных групп пациентов. Мероприятия (медицинские технологии) могут включать в себя использование лекарственных средств, процедур, медицинских и вспомогательных устройств и технологий, систем доставки лекарств.

Для содействия в развитии ИСЭ, в соответствии с этим законом, Министру здравоохранения и социального обеспечения США (U.S. Secretary of Health and Human Services), Национальному институту здоровья (National Institutes of Health) и Агентству исследований и оценки качества медицинской помощи (Agency for Healthcare Research and Quality) было предоставлено финансирование в объеме $1,1 млрд. По поручению Конгресса США, Институт медицины (Institute of Medicine) разработал перечень из 100 приоритетных тем для ИСЭ, большинство из которых включали в себя скорее процессы оказания помощи, а не конкретные методы лечения. В дальнейшем, в ходе проведения в США реформы системы здравоохранения, уже в соответствии с законом «О защите пациентов и доступном медицинском обслуживании» (Patient Protection and Affordable Care Act, 2010), была создана новая организация – Институт исследований пациент-ориентированных исходов (Patient-Centered Outcomes Research Institute – PCORI). Его задача – определять национальные приоритеты США в ИСЭ, консультантов для определения дизайна исследований, облегчать процесс публичного обсуждения и распространения выводов ИСЭ, а также совершенствовать методы ИСЭ путём разработки и обновления стандартов внутренней валидации, обобщаемости (generalizability) и своевременности (timeliness) [8].

ИСЭ – это особый элемент в ОМТ, который фокусируется на клинической пользе вмешательства, в то время как понятие ОМТ – шире и включает в себя другие аспекты, например, вопросы биоэтики, затрат, соотношения эффективности затрат (cost-effectiveness ratio) и т.д. Выделяют два типа ИСЭ – быстрая (rapid assessments) и полная оценка (full assessments) [3, 4]. Быстрая оценка – это оценка одной медицинской технологии в течение короткого промежутка времени в сравнении с одним или несколькими значимыми альтернативными видами вмешательства. Это может быть оценка нового лекарственного средства при его запуске в производство, переоценка лекарства при появлении новых значимых данных или нового назначения, медицинского оборудования и изделий медицинского назначения. Для проведения полной оценки необходимо оценить несколько технологий, используемых при одном заболевании. Важно понимание их влияния на систему здравоохранения в целом. Существенным отличием от быстрой оценки является фармакоэкономическая составляющая. Полная оценка обычно проводится спустя несколько лет после вывода технологии на рынок. Такую оценку нельзя провести в конкретный промежуток времени.

Дизайн. В качестве исполнительного аппарата ИСЭ предполагают исследования личного дизайна, которые могут быть представлены:

• ретроспективным наблюдательным (обсервационным) исследованием;
• проспективным наблюдательным исследованием;
• рандомизированным клиническим исследованием (РКИ),
• а также натуралистичным («прагматичным») РКИ, которое ещё называют «прагматическим клиническим испытанием» (ПКИ) [9-11].

Выбор дизайна определяется задачей исследования, но оптимальный дизайн должен учитывать вопросы ценности получаемой информации, клинического равновесия (clinical equipoise), сроков, осуществимости, затрат, этичности и законности.

Ретроспективные исследования, как правило, осуществляются с использованием существующих баз данных и обычно предполагают преимущества по стоимости и времени исполнения. Однако в уже существующих базах данных может содержаться не вся интересующая информация и, следовательно, определение вмешательств и исходов может оказаться далеко от идеала. Проспективные исследования также могут использовать существующие базы данных, но они предполагают и возможность сбора дополнительной необходимой информации. Поэтому они, как правило, дороже и занимают больше времени. Для принятия решения о таком выборе полезен формальный или неформальный анализ ценности информации.

Рис. 1. Определения, применяемые для дизайна исследований по сравнительной эффективности

Реальная практика применения понятий и их толкование. Kleijnen и соавт. в 2010–2011 гг. провели анализ реального применения ИСЭ в существующей национальной практике 29 стран (Европейского Союза и ряда других). Изучали основные сходства и различия в методологических аспектах, а именно: выбор медицинской технологии сравнения, использование непрямых сравнений, использование измерения исходов и данных о действенности для оценки эффективности [4]. Информация была получена стандартизованным методом получения данных, разработанным 7-ю партнёрами Европейской сети (AETSA (Эстония), AHTAPol (Польша), CVZ (Нидерланды), HAS (Франция), ESKI (Венгрия), IRF (Дания) и Национальным институтом здоровья и клинических достижений (National Institute for Health and Clinical Excellence, NICE) (Великобритания)). Опросник включал в себя 38 вопросов (да/нет или всегда/иногда/никогда). Данные были собраны путём поиска публично доступной информации и запроса информации от представителей указанных выше организаций (рис. 2).

Рис. 2. Методы выявления использования сравнительной эффективности

Ответы проверяли на чёткость и прозрачность и при необходимости уточняли. Из 35 включённых стран данные были собраны по 29 (Австралия, Австрия, Бельгия, Канада, Чехия, Дания, Эстония, Финляндия, Германия, Венгрия, Ирландия, Италия, Латвия, Люксембург, Мальта, Нидерланды, Новая Зеландия, Норвегия, Польша, Португалия, Словакия, Словения, Испания, Швеция, Швейцария, Турция и Великобритания (отдельные данные для Англии/Уэльса и Шотландии)). Данные не были получены по Болгарии, Кипру, Греции, Литве и Румынии, поскольку в этих странах не было найдено подходящих источников. Не собирали данные по США, т.к. в данной стране не существует единого стандартизованного подхода к ИСЭ из-за принципа множественных плательщиков (multiplayer environment) [12-14]. По Великобритании были получены раздельные данные по методам, использовавшимся Национальным институтом здравоохранения и клинических достижений и Шотландской медицинской ассоциацией (Scottish Medicines Consortium).

Частота применения сравнительных исследований. Сравнительную действенность (табл. 1) как часть быстрой оценки, определяют во всех странах: 83% утверждали, что проводят её постоянно; 17% – время от времени. Более 95% всех стран утверждали, что применяли ИСЭ: 41% всегда; 55% иногда.

Выбор сравнения. Во многих странах существуют разные варианты выбора медицинской технологии сравнения (comparator). Например, в Польше медицинской технологией сравнения считали «существующую практику» (existing practice). Однако проводят сравнение и с другими «альтернативами (сравнителями)» – наиболее часто используемыми, наиболее дешёвыми, наиболее эффективными, соответствующими стандартам и клиническим руководствам. Только пять стран (около 20%) утверждали, что вариантом для сравнения может быть «всё, что было использовано в регистрационных испытаниях» (Бельгия, Словакия, Словения, Испания и Швейцария). Большинство (около 70%) стран в качестве варианта выбора сравнения обозначили «наилучшая стандартная помощь» («best standard care») и/или (почти 50%) «другое». У стран просили определить, по какому принципу они выбирали медицинскую технологию сравнения. В обеих категориях («наилучшая стандартная помощь» и «другое») подход был одинаковым. Примеры определения: «лечение используется в текущей клинической практике» (Англия/Уэльс), «наиболее часто (или широко) применяемая терапия» (Бельгия, Эстония, Финляндия и Латвия), «помощь, подтверждённая на практике» («the validated care in the field») (Франция) и «назначенная терапия практики» (Австралия). В 83% процентах стран технологии для сравнения могли включать в себя одно или более нефармацевтических вмешательства (nonpharmaceutical interventions). Однако на практике для некоторых из стран сравнение с нефармацевтическими вмешательствами является исключением. Также отмечено, что нефармацевтические вмешательства, в качестве сравнения лекарственных средств, более часто применяют в группе стационарных больных, чем амбулаторных. Только лекарственные средства для сравнения применяют в Бельгии, Канаде, Дании, Италии и Норвегии.

Непрямое сравнение (indirect comparison). Когда в наличии нет прямых сравнительных исследований (head-to-head trials), которые включают в себя прямое сравнение между испытуемыми медицинскими технологиями, все страны, за исключением Турции, используют непрямое сравнение. Однако только некоторые страны обозначили своё предпочтение к непрямому анализу; например, в Австралии и Новой Зеландии предпочитали метод частотного анализа (Frequentist method), а в Шотландии – байесовский анализ (Bayesian analysis).

Исходы (outcomes). Эксперты наиболее часто используют исходы, связанные со смертностью, заболеваемостью и/или качеством жизни. Во всех странах конечные исходы (final outcomes) – это в основном пациент-зависимые и клинически значимые конечные точки, которые более предпочтительны суррогатным конечным точкам.

Применение суррогатных и комбинированных точек. Во всех странах наряду с «твёрдыми» точками используют суррогатные исходы. Однако многие эксперты отмечали, что предпочитают обходиться без них, считая их менее значимыми для принятия решений, чем клинические исходы. Комбинированные исходы (composite outcomes) также используют, но не считали предпочтительными.

Качество жизни. Большинство стран используют данные о качестве жизни (quality-of-life data) с условием, что предварительно был валидирован инструмент измерения данного показателя. Измерения качества жизни у пациентов с конкретным заболеванием (disease-specific quality-of-life measurements (DSQOL)) используют чуть более широко (90%), чем измерения «воспроизведённого» качества жизни (generic quality-of-life measurements (GQOL)) (почти 80%). Почти половина (48%) считали, что для определения сравнительной эффективности может быть использована шкала оценки состояния здоровья (health state utilities).

Нежелательные побочные реакции. Почти все страны при проведении оценки принимают в расчёт данные о безопасности. Различные исходы, такие как прекращение применения лекарства в связи с побочными эффектами (dropout from study due to side effects), смерть в результате побочных эффектов (deaths due to side effects), тяжёлые побочные эффекты (major side effects) и необратимые побочные эффекты (irreversible side effects) считались значимыми конечными точками безопасности.

Действенность против эффективности (efficacy versus effectiveness data). Все страны в определённой степени («всегда» или «иногда») пытаются определить, возможно ли применение данных рандомизированных клинических исследований (РКИ), доступных во время оценки, к общей популяции пациентов («внешняя достоверность» (external validity)). Организациям был задан вопрос, как оценивают эффективность, если в результате клинического исследования не было получено никаких данных об эффективности. Спрашивали, будут ли они всегда/иногда/никогда проводить:

• качественную экстраполяцию (qualitative extrapolation) (определять эффективность лечения на основе доступных данных о действенности);
• количественную экстраполяцию (quantitative extrapolation) (например, моделирование (modeling)).

Качественную экстраполяцию проводят в 75% организаций. Количественную экстраполяцию данных о действенности на данные об эффективности, проводят в 50% организаций. Почти в 70% стран (всегда или иногда) при отсутствии данных за длительный период времени качественно экстраполируются данные за короткий промежуток времени, и более чем в 60% (всегда или иногда) – количественно (с помощью моделирования).

Методические руководства. Более чем 80% стран заявляли, что применяют руководства, в которых описаны методики сравнительного анализа. Некоторые из таких руководств фокусируются на процедуре возмещения расходов (как подать заявку и в какие сроки), или на описании критериев возмещения расходов, используемых для оценки. Некоторые страны, например, Чешская Республика и Португалия, используют национальные руководства по фармакоэкономике как руководства по ИСЭ. Примером детализированного методического руководства, используемого для ИСЭ, является Раздел В руководства Австралийского Консультативного Комитета по Оценке Фармацевтических Преимуществ (Australian Pharmaceutical Benefits Advisory Committee). Это руководство фокусируется на том, как представителям производителей фармацевтической продукции (marketing authorization holders) следует проводить ОСЭ и представлять данные [15].

Обсуждение

Основной целью ИСЭ является предоставление обоснованной информации для принятия оптимального решения для пациента, врача и организаторов здравоохранения. Разница между ОСЭ и ИСЭ не всегда четко определена, и эти понятия могут замещать друг друга в зависимости от субъективного понимания авторов. Сбор сведений о новых лекарственных средствах, в том числе биологического происхождения, всё чаще рассматривается как деятельность, которую нужно вести на протяжении всего жизненного цикла продукта, а не только с целью получения отчёта «для доступа на рынок» (market access). Органы, регулирующие поступление (через регистрацию) на рынок, учитывают как предварительный сбор сведений, так и результаты исследований об эффективности и безопасности, проводимые после регистрации продукции. Кроме того, для оценки медицинских технологий, ценообразования и возмещения расходов регуляторные органы экспериментируют с «возмещением с последующим доказательством» (coverage with evidence development), включая «разделение рисков» (risk-sharing contracting), в т.ч. путём сбора дополнительных данных постфактум. В то же время, требования безопасности привели к дополнительным требованиям по проведению фармаконадзора после вывода продукции на рынок. Для большинства этих инициатив средством для сбора доказательств стали проспективные наблюдательные исследования. Как и лекарственные средства, медицинские устройства требуют изучения в течение всего жизненного цикла, более короткого по сравнению с лекарствами. Растут споры о будущей необходимости подтверждения эффективности медицинских устройств, как США, так и в Европе [12]. Доказательства безопасности и эффективности медицинских устройств, наряду с новыми хирургическими технологиями и диагностикой, как правило, включают в себя наблюдательные исследования. Согласно обзору Kleijnen S. и соавт. на примере 29 стран, существует в целом единый подход в основных методологических аспектах ИСЭ лекарственных средств [4]. Ранее опубликованные подобные исследования были ограничены количеством стран – от 3 до 6 [8, 13, 16-19]. В большинстве стран сравнение новой технологии проводят с «обычный практикой» («usual care») или с «рутинным (повседневным) лечением» (routine treatment) [8]. Основными исходами, анализируемыми экспертами, считаются смертность, заболеваемость и качество жизни. Согласно результатам Levy и соавт. суррогатных точек обычно избегают, но в ситуациях, когда нет данных по значимым клиническим показателям, большинство стран их применяют [14]. Также делаются попытки экстраполяции данных о действенности из РКИ в повседневную клиническую практику. Обращаются к качественной экстраполяции, которая рассчитывает эффективность лечения, основываясь на доступных данных о действенности. Некоторые страны используют методы моделирования, чтобы количественно экстраполировать данные о действенности. В идеале, фактором сравнения, одинаковым в разных странах, мог бы быть пример лечения, в соответствии с международными руководствами с качественными доказательствами.

Ещё раз необходимо отметить, что устоявшиеся стереотипы клинической практики (clinical practice patterns) в разных странах различаются, поскольку их определяет множество факторов, включая организацию системы здравоохранения, доступность ресурсов и экономические предпочтения [20]. При этом, как отмечает Jönsson, различия в рутинном лечении со временем могут уменьшаться благодаря конвергенции стереотипов клинической практики, а также росту применения решений, основанных на доказательствах [20]. Хотя данные сравнительных исследований (прямое сравнение) предпочтительны, для большинства лекарственных средств во время вывода продукта на рынок они недоступны [21, 22]. Лица, ответственные за принятие решений, сталкиваются с проблемой, связанной с ограниченной доступностью данных или качеством доказательств [13]. Clement и соавт. считают ключевой проблемой в принятии решений по возмещению расходов значительную неопределенность в клинической эффективности [16]. Чтобы решить проблему ограниченных доказательств, некоторые страны рассматривают возможность использования условного покрытия расходов или «покрытия с последующим доказательством» (coverage with evidence development) [20]. В связи с этим, особую роль начинают занимать непрямые исследования [23-26].

Выводы и рекомендации

Таким образом, исследования сравнительной эффективности играют всё возрастающую роль в принятии решений о возмещении расходов на лекарственные средства. Это не только ведёт к распространению идеологии принятия решений, основанных на клинических доказательствах, но и формирует на фармацевтическом рынке значимую долю лекарственных средств с наилучшим соотношением «цена/качество».

Представляется необходимым углубленное сотрудничество между странами в развитии методов для стандартизации данных исследований. Очевидно, существует необходимость создать в этой области согласованные международные руководства. Также важным шагом для обмена результатами оценки будет гармонизация и/или стандартизация подходов экстраполирования данных о действенности в данные об эффективности.

Литература

1. Авксентьева М.В., Омельяновский В.В. Международный опыт оценки технологий в здравоохранении / М. В. Авксентьева, В. В. Омельяновский // Медицинские технологии. Оценка и выбор – 2010.-№1.-С.52-58.

2. http://www.inahta.net

3. Berger M.L., Dreyer N., Anderson F., et al. Prospective Observational Studies to Assess Comparative Effectiveness: The ISPOR Good Research Practices Task Force Report. Value Health. 2012;15(2):217-30.

4. Kleijnen S., George E., Goulden S., et al. Relative Effectiveness Assessment of Pharmaceuticals: Similarities and Differences in 29 Jurisdictions. Value In Health 2012;15:954 – 960.

5. High Level Pharmaceutical Forum. Core principles on relative effectiveness. 2008.

6. Public Law No: 111-5. H.R. 1. American Recovery and Reinvestment Act of 2009 signed by President Barack Obama on 2/17/2009.

7. U.S. Department of Health and Human Services, Federal Coordinating Council for Comparative Effectiveness Research. Report to the President and the Congress, 2009.

8. Sorenson C. Use of comparative effectiveness research in drug coverage and pricing decisions: a six-country comparison. Issue Brief (Commonw Fund) 2010 ;91:1–14.

9. Zwarenstein M., Treweek S., Gagnier J.J., et al. Improving the reporting of pragmatic trials: an extension of the CONSORT statement. BMJ 2008; 337:a2390.

10. Temple R.J. A regulatory authority’s opinion about surrogate endpoints. In: Nimmo WS, Tucker GT, eds., Clinical Measurement in Drug Evaluation. New York: Wiley, 1995.

11. Kleist P. Composite endpoints for clinical trials: current perspectives. Int J Pharmaceut Med 2007;21:187–98.

12. Institute of Medicine of the National Academies. Medical Devices and the Public’s Health: The FDA 510(k) Clearance Process at 35 Years, Committee on the Public Health Effectiveness of the FDA 510(k) Clearance Process, Board on Population Health and Public Health Practice, Washington, D.C.: Institute of Medicine; 2011.

13. Chalkidou K., Tunis S., Lopert R., et al. Comparative effectiveness research and evidence-based health policy: experience from four countries. Milbank Q 2009; 87:339–67.

14. Levy A.R., Mitton C., Johnston K.M., et al. International comparison of comparative effectiveness research in five jurisdictions: insights for the US. Pharmacoeconomics 2010; 28:813–30.

15. Pharmaceutical Benefits Advisory Committee. Guidelines for Preparing Submissions to the Pharmaceutical Benefits Advisory Committee. Version 4.3. Canberra, Canada: Commonwealth of Australia, 2008.

16. Clement F.M., Harris A., Li J.J., et al. Using effectiveness and cost-effectiveness to make drug coverage decisions: a comparison of Britain, Australia, and Canada. JAMA 2009;302:1437–43.

17. Cohen J., Faden L., Predaris S., et al. Patient access to pharmaceuticals: an international comparison. Eur J Health Econ 2007; 8:253–66.

18. Morgan S.G., McMahon M., Mitton C., et al. Centralized drug review processes in Australia, Canada, New Zealand, and the United Kingdom. Health Aff (Millwood) 2006; 25:337–47.

19. Zentner A., Velasco-Garrido M., Busse R. Methods for the comparative evaluation of pharmaceuticals. GMS Health Technol Assess 2005; 1:1–12.

20. Jönsson B. Relative effectiveness and the European pharmaceutical market. Eur J Health Eco 2011; 12:97–102.

21. Goldberg N.H., Schneeweiss S., Kowal M.K., et al. Availability of comparative efficacy data at the time of drug approval in the United States. JAMA 2011;305:1786–9.

22. van Luijn J.C., Gribnau F.W., Leufkens H.G. Availability of comparative trials for the assessment of new medicines in the European Union at the moment of market authorization. Br J Clin Pharmacol 2007; 63:159–62.

23. Gartlehner G., Moore C.G. Direct versus indirect comparisons: a summary of the evidence. Int J Technol Assess Health Care 2008; 24:170–7.

24. Bucher H.C., Guyatt G.H., Griffith L.E., et al. The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials. J Clin Epidemiol 1997; 50:683–91.

25. Song F., Altman D.G., Glenny A.M., et al. Validity of indirect comparison for estimating efficacy of competing interventions: empirical evidence from published meta-analyses. BMJ 2003;326:472.

26. Song F., Loke Y.K., Walsh T., et al. Methodological problems in the use of indirect comparisons for evaluating healthcare interventions: survey of published systematic reviews. BMJ 2009;338:b1147.