Моделирование включения лекарственных средств в ограничительные перечни (пример – ЖНВЛП). Анализ данных 2014 года

Прасолов А.В.¹, Колбин А.С.^2,3, Максимкина Е.А.⁴, Голант З.М.⁵, Полушин Ю.С.², Курылев А.А.², Вилюм И.А.², Балыкина Ю.Е.¹

 

¹ Факультет прикладной математики – процессов управления, Санкт-Петербургский государственный университет

² Первый Санкт-Петербургский государственный медицинcкий университет им. акад. И.П.Павлова

³  Медицинский факультет, Санкт-Петербургский государственный университет

 ⁴Департамент лекарственного обеспечения и регулирования обращения медицинских изделий Министерства Здравоохранения РФ

 

 ⁵ Санкт-Петербургская Государственная Химико-Фармацевтическая Академия

 

Абстракт. В 2014 году были предложены новые формализированные Правила формирования ограничительных списков лекарственных средств. Были проанализированные данные заключений экспертных организаций, заключение главного внештатного специалиста Министерства здравоохранения, окончательное решение междисциплинарной комиссии на площадке Министерства здравоохранения. Методологически применяли математический аппарат: описание задачи; обзор методов моделирования; анализ принятых решений на различных уровнях; построение прогностических моделей. В результате, было показано, что использование нейронных сетей с нелинейными решающими функциями в данном случаем невозможно. При анализе Перечня с помощью линейных моделей было показано, что построенные нами правила (прогноз) для экспертной организации давали ошибку 12,4%; для главного внештатного специалиста 10%. Модель для окончательного решения давала ошибку около 35%. Это означает, что определить окончательное решение комиссии исходя из балльной оценки, сделанной формально предыдущими субъектами невозможно. Предложены рекомендации по оптимизации формализированного подхода.

 

Abstract. In 2014 new rules for compiling restrictive drug lists were proposed. Conclusion data received from expert organizations, the main external specialist of the Ministry of Health, and the data on the final decision made by interdisciplinary committee of the Ministry of Health were analyzed. The following mathematical tools were applied to serve as a methodological basis: problem statement, overview of modeling techniques, analysis of the decisions made at various levels, and construction of predictive models. As a result, it was shown that the use of neural networks with nonlinear decision functions were not appropriate in this case. The analysis of the List with help of linear models showed that the developed rules (the forecast) for the expert organization and for the main external specialist gave an error of 12.4% and 10% respectively. The model for a final decision gave an error of about 35%. This means that it is impossible to determine the final Committee’s decision on the basis of scoring made by previous agents. Recommendations on optimizing formalized approach are presented.

 

Актуальность

 

Первый российский перечень ЖНВЛП (жизненно необходимых и важнейших лекарственных препаратов, далее Перечень) был создан в 1992 г. Согласно мнения ряда экспертов Перечень был составлен с нарушениями многих принципов и правил (с позиции ВОЗ), в частности отличался изобилием торговых наименований, комбинированными препаратами, включал свыше 300 применяемых in vitro диагностических средств [1]. Значительную часть Перечня составляли морально устаревшие лекарственные средства (ЛС) с недоказанной эффективностью, а также продукты известных фирм. В связи с этим, дальнейшие Перечни подвергались модификации; расширялись (к примеру, 7 нозологий или дополнительного лекарственного обеспечения); предлагались различные требования; критерии для включения и исключения лекарств. Прописывались новые процедуры, экспертные площадки (например, Формулярный комитет при РАМН). В начале 2000-х при формировании Перечня стали использовать данные фармакоэкономических расчётов и, безусловно, принципы доказательной медицины. С 1992 г. и по настоящее время к составлению Перечня привлекали различных специалистов, в подавляющем своём – врачей или провизоров, зачастую со «специфическими» знаниями в области оценки медицинских технологий. Таким образом, субъективный характер принятия решения при формировании Перечня остаётся значительным. В 2014 году Правительством Российской Федерации был утверждён документ «Об утверждении Правил формирования перечней лекарственных препаратов для медицинского применения…» [2]. В данном документе прописаны требования (бальная система), этапы (в том числе, процедура работы экспертной организации (ЭО) и главного специалиста), указаны сроки, формы для заключений. Фактически включение ЛС в Перечень равносильно принятию решения в форме бинарной оценки: 0, если ЛС включается в список, и 1 – если не включается. Исходными данными для каждого ЛС было количество баллов. Основным принципом, который проходит сквозь весь документ, является формализированный подход, иными словами – структурированное формализированное экспертное мнение. В итоге, в обновлённый Перечень вошло 50 новых ЛС (отсутствующих в предыдущих Перечнях).

 

Цель исследования

           

Целью настоящего исследования было построение модели принятия решений на основании формализованного подхода формирования Перечня с помощью математических инструментов.

 

Методы

 

Основным и единственным источником данных служили Заключения по результатам проведения экспертизы предложения о включении (исключении) лекарственного препарата в перечни лекарственных препаратов (Приложение № 7 к Правилам формирования перечней лекарственных препаратов для медицинского применения и минимального ассортимента лекарственных препаратов, необходимых для оказания медицинской помощи). На первом этапе все анализируемые данные (нам было доступно 169 международных непатентованных названий) были обезличенные, каждому ЛС был присвоен цифровой и буквенный код. Затем, произвольно объединены в таблицу (Приложение к данной работе), в которую включили все ЛС, досье на которые были поданы в ЭО (50 субъектов) в 2014 г., и в отношении которых ЭО выносили заключения. В результате в качестве исходных данных были использованы баллы по пунктам 5, 6, 7 Приложения 7 (результаты клинической оценки, результаты клинико-экономической оценки, результаты экспертизы прочих данных по предложению, соответственно –столбцы 2, 3, 4); суммарным баллам (столбец 5); заключение о включении в список со стороны ЭО; заключение главного внештатного специалиста Министерства здравоохранения (ГВС); окончательное решение междисциплинарной комиссии на площадке Министерства здравоохранения (ОР) – столбцы 6, 7 и 8 соответственно. Под формализацией процесса составления Перечня понимаем создание алгоритма (или формулы) превращения трёх указанных чисел для каждого ЛC либо в 0, либо в 1 единственным образом. Такой алгоритм называется решающим правилом.

Методология проведения настоящего исследования состояла из следующих взаимодополняющих друг друга этапов:

I.               Описание задачи. Математическая формальная постановка задачи;

II.             Обзор методов моделирования;

III.           Анализ принятых решений: ЭО; ГВС; ОР;

IV.           Построение прогностических моделей.

 

I. Описание задачи и её математическая формальная постановка

 

Математически задача состояла в разделении множества точек трёхмерного пространства на два подмножества (попала точка в список или не попала): для первых точек решение равно 1, а для вторых – 0. Речь шла о трёхмерном пространстве, так как каждое ЛС характеризуется тремя системами баллов и эти системы независимы. В Приложении представлена сумма баллов (столбец 5), что представляется некоторым экспертам полезным для принятия решения (например, если сумма баллов больше некоторой пороговой величины, то ЛС принимается в Перечень). Однако, когда анализировали решающее правило среди линейных моделей, то сумма была частным случаем, одной из линейных зависимостей и, следовательно, привлечение суммы не добавляло информации к трём балловым оценкам.

 

II. Обзор методов моделирования

 

II.1. Анализ Перечня с помощью нейронных сетей. В теории нейронных сетей используют нелинейные модели, например, сигмоиды (их ещё называют логистическими кривыми) [3]. Это функции нескольких переменных (в нашем случае, трёх балловых оценок), которые принимали значения от 0 до 1 некоторым непрерывно дифференцируемым образом. Один из вариантов сигмоид записывается в форме:

,                                                  (1)

где  – входные величины (в нашем случае – балловые оценки);

 – коэффициенты, настраиваемые по известным входам и результатам (процесс обучения нейронной сети).

 

Очевидно, что решающее правило, полученное с помощью (1), будет получать дополнительную информацию от входа, содержащего сумму баллов, из-за нелинейности.

Мы провели статистические исследования (на основе нейронных сетей) с сигмоидами и не нашли преимуществ перед линейными моделями (с последующим округлением). Вычисления были очень трудоёмкие, а окончательная ошибка модели составила 23%. В связи с этим, аппарат нейронных сетей в настоящем исследовании не использовали.

II.2. Анализ Перечня с помощью линейных моделей. Были рассмотрены линейные модели с округлением:

,                                                       (2)

где Y – одно из принятых решений (столбцы 6, 7, 8 таблицы);

 – баллы (столбцы 2, 3, 4 таблицы);

 – коэффициенты, подбираемые методом наименьших квадратов так, чтобы линейная комбинация (2) приближалась к значению Y, данному в таблице Приложения. Так как Y в любом случае принимает значения либо 0, либо 1, то числа автоматически подбирали так, что линейная комбинация (2) после округления до целых частей числа была равна либо 0, либо 1 [4-6]. С математической точки зрения округление это нелинейная операция:

                                                     (3)

Было показано, как работало решающее правило на простом иллюстративном примере в случае только двух входных переменных: x₁, x₂. Описали два случая: когда удалось «чётко» разделить множества на две группы, и когда – не удалось («нечёткое» разделение). В табл. 1 приведены координаты нескольких точек на плоскости. Точки разбиты на две группы характеристикой Y, принимающей значение 0 для одной группы, и значение 1 – для другой.

 

Таблица 1

Пример работы линейного решающего правила с «чётким» разделением

Номера точек	1	2	3	4	5	6	7	8
x1	1	1	2	2	3	3	4	4
x2	3	4	3	4	1	2	1	2
Y	0	0	0	0	1	1	1	1

 

Рис. 1. Пример работы решающего правила с «нечётким» разделением

 

Как видно из представленных на рис. 1 данных, подгруппы точек выделены разным цветом (синим и красным) и разными маркерами (ромбы и квадраты, соответственно). Зелёные треугольники изображали прямую линию, разделяющую подгруппы. Это и есть решающее правило: если точка находится по одну сторону от разделяющей прямой, то Y равен 0, а если по другую – то 1. Уравнение разделяющей прямой получено следующим образом: предполагали, что

и искали , доставляющие наименьшее значение функционалу  на данных табл. 1. Получили линейную зависимость -0,222 . Округляя по формуле (3) пришли к решающему правилу: если x₁ > x₂, то пара чисел даёт красный квадратик и точка на плоскости была ниже прямой линии из зелёных треугольников x₂ = x₁. В противном случае пара даст синий ромб, т.е. выше линии x₂ = x₁.

Однако, это получилось, когда подмножества, на которые мы хотели разделить точки плоскости, имели непересекающиеся выпуклые оболочки. Если это не так, то не существует разделяющей прямой. Далее, добавили в табл. 1 две пары чисел. Получили новые данные, которые отображены в табл. 2 и на рис. 2, где уже не разделить подмножества прямой линией.

 

Таблица 2

Пример работы линейного решающего правила с «нечётким» разделением

Номера точек	1	2	3	4	5	6	7	8	9	10
x1	1	1	2	2	3	3	4	4	3	3,5
x2	3	4	3	4	1	2	1	2	3	2,8
Y	0	0	0	0	1	1	1	1	1	0

 

 

Рис. 2. Пример с «нечётким» разделением множеств на подмножества

 

Как видно из представленных на рис. 2 точек, разделяющая прямая линия допускала «ошибочные» решения по размещению точек в подмножества – это следствие того, что «обучающее» множество не было разделено на подмножества так, чтобы не пересекались их выпуклые оболочки. Уравнение разделяющей прямой построено по данным табл. 2 и соотношению 0,5 -0,261, правая часть в котором получена в процессе оптимизации с функционалом . Из рис. 2 видно, что достаточно в табл. 2 поменять в 9 и 10 строках значения Y на противоположные, чтобы прямая разделила бы подмножества точно (при этом две новые точки рис. 2 около разделяющей прямой поменялись местами).

II.3. Анализ случайного и неслучайного воздействия. В реальных задачах экспертные оценки всегда подвержены случайному и неслучайному воздействию, а входные данные также нельзя считать идеальными, поэтому условия, при которых существует единственная разделяющая прямая (или в пространстве – плоскость), чаще всего не выполняют. Для удобства изображения выделили две входные переменные: баллы по 5 п. и по 6 п. (столбцы 2 и 3) и решение комиссии (столбец 8).

 

Таблица 3

Пример работы линейного решающего правила над реальными данными с «нечетким» разделением

Номера точек	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16
x1	28	22	31	34	22	40	29	11	29	32	24	20	33	30	30	30
x2	9	-17	5	3	-4	6	-6	0	-26	0	2	4	6	4	4	4
Y	0	0	1	1	1	1	1	0	0	0	0	0	1	0	1	1

 

 

Рис. 3. Пример «нечёткого» разделения множества реальных данных прямой линией

 

Как видно из представленных на рис. 3 данных, после оптимизации параметров разделяющей прямой (зелёные треугольники на рис. 3), наилучшее разделение имели ошибку 25%, т.е. из 16 входных пар неправильно попали (не в свои подмножества) 4 пары. Разделяющая прямая получена из уравнения . Таким образом, наилучшая разделяющая прямая даёт «плохой» результат на «обучающей» выборке данных.

 

III. Анализ принятых решений

 

В Приложение было достаточное количество принятых решений о включении ЛC в Перечень, чтобы с формально статистической точки зрения оценить качество этих решений. Были рассмотрены три набора решений: ЭО; ГВС; ОР.

В качестве математической модели решающего правила построили разделяющую плоскость в трёхмерном пространстве. Процент ошибок разделения характеризовал адекватность модели. Данные о баллах, помещённые в столбцы 2, 3, 4 Приложения, обозначили x₁, x₂, x₃для удобства в формулах. Всего было 169 троек. Характеристика подмножеств Y соответственно обозначали ЭО, ГВС и ОР (столбцы 6, 7, 8). Их в Приложение различное число, поэтому таблицу пришлось деформировать для каждого случая.

III.1. Модель решающего правила для заключение о включении в список со стороны Экспертной организации.

Всего данных, характеризующих оценку ЭО насчитывалось 169. Из них принять в список (=1) 141 ЛП, и не принять (=0) – 29 ЛП. На основании статистического анализа имеющейся информации была получена модель:

.                               (4)

Эта модель давала ошибку 12,4% (т.е. 21 «неправильных» результатов из 169). Отметим, что все коэффициенты статистически значимы, и детерминация = 0,28. Решающее правило было следующим: если для тройки чисел  выполнено неравенство , то ЭО=1. В противном случае 0 и ЛС не рекомендовано для включения в Перечень. Заметим, что поскольку все данные и баллы, и результаты экспертиз о включении или не включении ЛC в Перечень имели случайные ошибки, то говорить о «правильности» экспертизы нельзя. Однако,  совпадение действия «решающего правила» с экспертизой на 12,4% говорит об удовлетворительном формализме.

III.2. Модель решающего правила для заключения главного внештатного специалиста Министерства здравоохранения.

При анализе оценок ГВС были выявлены 2 существенные особенности. Во-первых, не ясно, влияет ли ЭО на ГВС. Во-вторых, в выборе много пропущенных данных, которые уменьшали общее число наблюдений, и, тем не менее, линейная модель с округлением описывается формулой:

.                        (5)

При этом коэффициенты статистически были не значимы и детерминация почти равна нулю, что говорит об очень плохой модели. Однако, из 98 экспериментов ошибочно модель давала только 14 ответов (14,3%). Решающее правило для ГВС формулировали следующим образом: если для тройки чисел  выполнено неравенство , то ГВС=1. В противном случае – 0 и ЛС в Перечень не включать. Данное правило давало ошибку 14,3%. Такое решающее правило оставляет много сомнений.

III.3. Анализ влияния заключения Экспертной организации на заключение главного внештатного специалиста Министерства здравоохранения.

При построении этой модели использовали данные о 97 наблюдениях.

  .                       (6)

В результате получили 10 ошибок, т.е. почти 10%. Статистическая значимость достаточна только в трёх из пяти коэффициентов и = 0,24. По-видимому, это самая приемлемая модель. Она имела решающее правило в виде неравенства, связывающего тройку чисел (баллов)  и уже известное решение : . Этот вариант решающего правила имеет шанс быть принятым для последующих составлений Перечня.

III.4. Модель решающего правила для окончательного решения междисциплинарной комиссии на площадке Министерства здравоохранения (ОР).

Ни одна модель не даёт понимания, как принимается решение: все варианты имели примерно третью часть ошибок. Если бы 0 либо 1 ставились бы по равномерному закону распределения (бросание монеты), то мы бы получили 50% ошибок. Некоторое уменьшение числа ошибок получается за счёт информации в баллах. Об этом свидетельствует статистический анализ, результаты которого приведены в табл. 4.

 

Таблица 4

Статистический анализ ОР

Зависимая переменная	ГВС	ЭО	Баллы	Расхождение из 97 ЛС и
Включение в список	+	+	+	Ошибок 35,       =0,15
Включение в список	-	+	+	Ошибок 35,       =0,09
Включение в список	+	-	+	Ошибок 36,       =0,14
Включение в список	-	-	+	Ошибок 35%,  =0,105 (из 169 ЛС)

 

Для таких данных невозможно предложить статистически значимое линейное правило, т.к. точки в пространстве сильно перемешаны и для любой разделяющей плоскости их количество велико по обе стороны от неё.

 

Обсуждение полученных данных

 

Ограничительные списки в разных странах мира преследуют различные задачи, но в целом всегда пытаются решить основную цель – рационального использования финансовых средств для лекарств с доказанной эффективностью и известным профилем безопасности. Таким образом, основным вопросом, который пытаются решить организаторы (создатели, идеологи) любого Перечня, это методология включения и исключения ЛС в зависимости от поставленной цели. С 2014 года в РФ была предложена попытка создания единых критериев для включения ЛС в следующие Перечни (списки): ЖНВЛП; дорогостоящий перечень; льготный (врач, комиссии); минимальный ассортимент. При этом, список ЖНПЛП является основообразующим. Исключение ЛС из ЖНВЛП является критериев исключения ЛС из других списков [2]. Заявлено, что Перечень должен быть одобрен экспертным сообществом.

Мы провели статистические исследования на основе нейронных сетей. Было показано, что не было обнаружено преимуществ перед линейными моделями. В связи с чем, далее был проанализирован линейный подход. Для этого на каждое ЛС действовали «линейным решающим правилом»: если некоторая линейная фиксированная комбинация баллов досье превышает определённое число «пороговое значение», то данное ЛС проходит дальше к Перечню. Коэффициенты линейной комбинации и «пороговый» уровень должен подбираться так, чтобы наилучшим образом удовлетворять прошлому опыту, оценкам ЭО («обучение» правила). Следует отметить, что простая сумма баллов также является линейной комбинацией с одинаковыми коэффициентами. И поэтому правило, гласящее, что ЛС проходит дальше по процедуре фильтрации, если сумма баллов превосходит некоторое пороговое значение, оказывается уже охваченным – это первый фильтр. Далее, использовали второй фильтр: также линейным решающим правилом оценивали одновременно баллы и мнение ЭО. Коэффициенты должны быть подобраны так, чтобы линейная комбинация наилучшим образом отражала мнение ГВС обо всех ЛС по всем известным случаям. Предварительный список содержал 175 ЛС, экспертная организация высказала 169 мнений: ГВС высказал 97 формализованных на бумажном носителе заключений. Таким образом, множество, на котором происходит обучение второго решающего правила существенно меньше. Результаты статистических оценок, построенная нами линейная комбинация баллов, мнения ЭО и ГВС, заключительное решение, представлены в табл. 5.

Таблица 5

Окончательных результатов анализа и моделирования с помощью линейного решающего правила

Лицо, принимающее решение	Информация для принятия решения	Процент различий в принятом решении между ЛПР и математической моделью	Характеристики статистической значимости результата
ЭО	Три типа баллов	12,4%	Коэффициенты статистически значимы и детерминация =0,28
ГВС	Три типа баллов и решение ЭО	от 14 до 10%	Коэффициенты статистически значимы и детерминация =0,24
Заключительная комиссия	Три типа баллов, решение ЭО и ГВС	Около 35%	Коэффициенты статистически не значимы и детерминация маленькая =0,1

 

Выводы и рекомендации

 

1.     Использование нейронных сетей с нелинейными решающими функциями невозможно для решения поставленных целей, так как оно продемонстрировало количество ошибок более 23%.

2.     При анализе Перечня с помощью линейных моделей (разделяющих плоскостей) было показано, что они частично могут быть применены для решений, указанных выше задач.

3.     Доказано, что общая сумма баллов, выставленная Экспертной организацией, не добавляет информацию к принятию решения о включении ЛС в Перечень, так как сумма является частным случаем перебираемых линейных комбинаций. Дальнейшее уточнение решающего правила, по-видимому, состоит в необходимости разработать «пороговый» уровень для каждой нозологической единицы.

4.     Модель заключения для экспертной организации, которая была нами построена по результатам настоящего анализа, давала ошибку 12,4%. Модель можно было считать удовлетворительной. Это означает, что экспертная организация при вынесении заключения о рекомендации препарата к включению в Перечень опирается на бальные оценки, или, наоборот, по числу баллов можно правильно предсказать решение экспертной организации в 87,6% случаев.

5.     Модель для заключений главного специалиста, которая была построена по результатам настоящего анализа, давала ошибку 14,3% если мы предполагали, что эксперт не был знаком с данными экспертной организации. Модель можно было считать условно удовлетворительной.

6.     Модель для анализа влияния экспертной организации на заключение главного специалиста, которая была построена по результатам настоящего анализа, давала ошибку 10%. Модель можно было считать хорошей. Это означает, что ГВС в своём решении опирается на результаты ЭО.

7.     Модель для окончательного решения комиссии, которая была построена по результатам настоящего анализа, давала ошибку около 35%. Модель можно было считать неудовлетворительной. Это означает, что определить окончательное решение комиссии исходя из балльной оценки, мнения ЭО и ГВС возможно только лишь с вероятность 35%, что равносильно опыту с «подбрасыванием» монеты.

 

Таким образом, проведённый анализ результатов экспертизы поданных досье методами математической статистики показал согласованность оценок экспертных организаций и главных специалистов с количеством баллов по результатам клинической, клинико-экономической оценок и оценок прочих данных по предложению. Мы действительно можем считать, предложенные Правила формализированным подходом. Однако, ни баллы, ни заключения экспертных организаций, ни мнения главных специалистов не влияют на окончательное решение Междисциплинарной комиссии. Необходима более чёткая процедура принятия решений на данном уровне.

 

Рекомендации

 

В ходе проведения анализа было отмечено, что препараты, входящие в разные группы по анатомо-терапевтической классификации (АТХ) имели разные суммы баллов по оцениваемым шкалам (например, безопасность противоопухолевых препаратов и антигипертензивных средств), что при усреднении может привести к смещению оценок. На наш взгляд необходимо определить группы препаратов, внутри которых возможно рассмотрение вновь поданных предложений. Безусловно, для каждой группы необходимо своё решающее правило, посредством которого мы формально будем считать, рекомендуем ли данное лекарственное средство или другую медицинскую технологию для включения или исключения из Перечней.

 

Литература

 

1.     Мешковский А.П.Очередной Российский перечень ЖНВЛС: рекомендации ВОЗ и поиски собственного пути. http://www.apteka.ua/article/14049

2.     http://www.consultant.ru/document/cons_doc_LAW_167999/

3.     Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика - Новосибирск: Наука. Сибирское предприятие РАН, 1998. 296 с.

4.     Алгоритмы и программы восстановления зависимостей. Под редакцией В.Н. Вапника. М., Наука, 1984 г.

5.     Прасолов А.В., Хованов Н.В. О прогнозировании с использованием статистических и экспертных методов. // Автоматика и Телемеханика. – 2008. - №6. – C.129-143.

6.     Прасолов А.В. Об одном методе определения спроса и цены на новую продукцию. // Российский журнал менеджмента. – 2009. – Т.7. - №3. – C. 45-60.