Открытое исследование: почему цифры «до и после» мало что доказывают
Открытое исследование амантадина показало впечатляющие цифры: оценка симптомов родителями упала с 41 до 29 баллов, размер эффекта 1,5. Проблема в том, что этот результат почти ничего не доказывает — и понимание причин пригодится далеко за пределами амантадина. В открытой работе нет контрольной группы: измеряется сумма действия препарата, ожидания родителей, естественных колебаний состояния и внимания врачей. Разделить слагаемые невозможно.
Разбираем на конкретном примере, что именно попадает в результат открытого исследования, насколько велики эти примеси по данным других работ и как читать такие публикации, не обманываясь крупными цифрами.
Содержание
- Что это была за работа
- Из чего складывается «улучшение»
- Сколько стоит ослепление: цифры
- Естественные колебания состояния
- Зачем тогда открытые исследования
- Иерархия доказательств
- Как читать такую публикацию
- Коротко: главное
- Частые вопросы
- Источники
Что это была за работа
Итальянские исследователи в 2007 году набрали 24 ребёнка от 5 до 13 лет с диагнозом СДВГ, ранее не получавших стимуляторов, и шесть недель давали им амантадин в дозе 50–150 мг одним утренним приёмом. Симптомы оценивали по шкалам для родителей и учителей в начале и в конце.
| Показатель | В начале | Через 6 недель | Размер эффекта |
|---|---|---|---|
| Оценка родителей | 41,0 | 28,9 | 1,5 — очень крупный |
| Оценка учителей | 35,8 | 26,2 | 1,0 — крупный |
Ответившими на терапию — со снижением балла на четверть и больше — оказались 58 % детей по оценке родителей и 46 % по оценке учителей. Один ребёнок выбыл из-за стойкой головной боли, ещё двенадцать сообщили о нежелательных явлениях, чаще всего о преходящем снижении аппетита.
Отдельно стоит отметить отбор участников: в работу брали детей, ранее не получавших стимуляторов. Для оценки переносимости это разумно, но для оценки эффективности создаёт перекос — такие дети чаще откликаются на первое в жизни вмешательство, каким бы оно ни было.
Если остановиться здесь, вывод напрашивается сам: препарат отлично работает. Размер эффекта 1,5 — это очень много: для сравнения, у метилфенидата в сводном анализе десятков слепых испытаний он составляет около 0,78. Получается, что скромный старый препарат вдвое обошёл признанный стандарт.
Такое сопоставление и есть главная ошибка. Числа получены в исследованиях разного устройства и попросту не сравнимы между собой — примерно как результаты забега с попутным ветром и без него. Дальше разбираем, откуда берётся этот ветер.
Из чего складывается «улучшение»
Открытое исследование устроено предельно просто: все получают препарат, все знают об этом, состояние сравнивается с исходным. Именно из этой простоты растут проблемы.
Разница между «до» и «после» — это не эффект препарата. Это сумма как минимум четырёх слагаемых, и разделить их без контрольной группы нельзя в принципе.
Ожидание. Родитель, который привёл ребёнка в исследование нового препарата, ждёт улучшения. Шкалы заполняет он же. Это не нечестность — так устроено восприятие: заметнее становится то, что ищешь.
Регрессия к среднему. В исследование попадают в плохой период — именно тогда родители ищут помощь. Плохой период по определению не может длиться вечно: следующее измерение с высокой вероятностью окажется лучше просто потому, что первое было хуже обычного.
Внимание исследователей. Участие в исследовании само по себе меняет жизнь семьи: регулярные визиты, разговоры о симптомах, ощущение, что кто-то занимается проблемой. Это работающее вмешательство, даже если в нём нет ни одной таблетки.
Собственно препарат. Он тоже в этой сумме. Какая доля приходится на него — открытое исследование не сообщает.
Контрольная группа решает эту задачу одним приёмом: часть участников получает пустышку, оставаясь во всём остальном в тех же условиях. Ожидание, регрессия к среднему и внимание исследователей действуют на обе группы одинаково, поэтому разница между ними и есть эффект препарата. Всё, что открытая работа отдаёт одним числом, слепое сравнение раскладывает надвое.
Стоит отметить и то, что в исследованиях при СДВГ группа плацебо улучшается заметно — это состояние с выраженной реакцией на ожидание. Поэтому здесь цена отсутствия контроля выше, чем во многих других областях медицины: сумма слагаемых получается крупной, и на её фоне вклад препарата может быть каким угодно, включая нулевой.
Сколько стоит ослепление: цифры
Насколько велика примесь ожидания — не абстрактный вопрос, её измеряли напрямую. В метаанализе когнитивных тренировок при СДВГ 2014 года сравнили оценки людей, знавших о распределении по группам, и независимых наблюдателей.
| Кто оценивал | Эффект на симптомы СДВГ | Эффект на невнимательность |
|---|---|---|
| Люди, близкие к процессу обучения | SMD 0,37 | SMD 0,47 |
| Вероятно ослеплённые наблюдатели | SMD 0,20 | SMD 0,32 |
Эффект упал почти вдвое от одной только смены наблюдателя. Данные при этом одни и те же — менялось лишь то, знал ли оценивающий, кто что получает. Вот примерный масштаб той примеси, которая в открытом исследовании остаётся внутри результата.
Обратите внимание, что в открытой работе по амантадину оценка учителей дала меньший эффект, чем оценка родителей: 1,0 против 1,5. Учитель дальше от процесса и меньше вовлечён в ожидания — и результат ниже. Тот же механизм, только внутри одной работы.
Естественные колебания состояния
Второе слагаемое — не ожидание, а само течение СДВГ. В шестнадцатилетнем наблюдении MTA почти две трети участников проходили через периоды, когда симптомы опускались ниже диагностического порога, а затем возвращались. Колебания — не исключение, а типичный ход событий; подробнее об этом в материале про ремиссию и излечение.
Для чтения исследований отсюда следует неприятный вывод: любое шестинедельное наблюдение с высокой вероятностью захватит участок естественного улучшения, особенно если набор шёл в момент обострения. И это верно для любого метода — от препарата до курса развивающих занятий.
Именно на этом механизме держится ощущение эффективности у множества методов без доказательной базы. Курс начинают в плохой период — иначе за него бы не взялись, — а дальше состояние выравнивается само. Заслугу приписывают курсу.
Тот же механизм объясняет и обратное явление, знакомое каждому родителю: метод, который «перестал работать». Часто ничего не переставало — просто закончился хороший участок кривой, и состояние вернулось к своему обычному уровню. Отсюда бесконечная смена курсов и специалистов: каждый новый начинают на спаде и оценивают на подъёме.
Разорвать этот круг можно единственным способом — сравнивать длинные отрезки, а не самочувствие недели. Месяц с месяцем, а лучше квартал с кварталом: на таком масштабе случайные колебания усредняются и видна тенденция.
Зачем тогда открытые исследования
Из сказанного не следует, что они бесполезны. У них есть своя задача, просто она другая, и без этого этапа большие испытания не начинаются вовсе.
Открытая работа дешевле и быстрее слепой, и она отвечает на вопросы, которые задают первыми: переносится ли препарат приемлемо, какие дозы можно использовать, стоит ли вообще вкладываться в большое испытание. Донфранческо с коллегами так и написали: данные говорят о приемлемой переносимости и возможной эффективности, причём активность выглядит скромнее, чем у стимуляторов.
Проблема не в самих открытых исследованиях, а в том, как их пересказывают. Формулировка «возможно эффективен» по дороге к читателю превращается в «эффективен», а размер эффекта 1,5 начинает выглядеть как доказанное превосходство.
Что показало последующее слепое сравнение амантадина с метилфенидатом и почему его результат тоже понимают неверно — разобрано в материале об амантадине при СДВГ.
Иерархия доказательств
Открытое исследование — не «плохое», а нижнее в определённой иерархии. Стоит держать её в голове целиком: это избавляет от спора о том, «доказано» или «не доказано», и переводит разговор в вопрос «насколько сильно».
| Тип данных | На какой вопрос отвечает | Чего не может |
|---|---|---|
| Отдельные наблюдения и отзывы | Показать, что явление в принципе бывает | Сказать, насколько часто и из-за чего |
| Открытое исследование | Оценить переносимость, подобрать дозы | Отделить эффект препарата от ожидания |
| Слепое сравнение с плацебо | Показать, работает ли лучше пустышки | Сказать, лучше ли других препаратов |
| Слепое сравнение с другим препаратом | Сопоставить с известным средством | Обнаружить малое различие на малой выборке |
| Метаанализ и сетевой анализ | Свести десятки работ в общую картину | Исправить качество исходных исследований |
Ошибка почти всегда одна и та же: результат нижней ступени подаётся как ответ на вопрос верхней. Отзыв превращается в «помогает», открытое исследование — в «эффективен», сравнение сорока человек — в «не уступает».
Полезно и обратное правило. Если по методу есть только нижние ступени спустя двадцать лет после появления, это само по себе информация. Иногда причина уважительная — например, некому финансировать испытание непатентованной молекулы. Но чаще отсутствие движения вверх по иерархии означает, что попытки были и результат не подтвердился: отрицательные результаты публикуют реже, зато они хорошо видны по тишине вокруг темы.
Как читать такую публикацию
Навык простой и переносится на любую тему — от ноотропов до пищевых добавок и развивающих курсов. Первое, что стоит найти в описании, — была ли контрольная группа и знали ли участники о распределении. Если ответ «нет» и «знали», крупные цифры в выводах ничего не решают, каким бы солидным ни выглядел журнал.
Второе — сколько человек участвовало. Двадцать четыре ребёнка — это пилотный масштаб; такие работы планируются как разведка, а не как основание для решений. Полезный ориентир: если участников меньше сотни, речь почти наверняка о разведке.
Третье — что написали сами авторы в выводах. Осторожные формулировки вроде «возможно эффективен» и «требуются рандомизированные исследования» ставятся не для скромности: это указание на то, какой вес имеет работа. В пересказах эти слова исчезают первыми.
Четвёртое — с чем именно сравнивали. «Лучше, чем ничего» и «лучше, чем плацебо» — разные утверждения, а «не хуже другого препарата» — третье, и оно требует особого дизайна. Подмена одного другим — самый частый способ выдать слабый результат за сильный.
И последнее, что стоит проверять уже не в самой статье, а вокруг неё: сколько лет прошло и что было дальше. Работа 2007 года, за которой не последовало ничего крупного, — это не «подтверждённый временем метод», а тема, которая не получила развития. Пятнадцать лет тишины после обнадёживающего пилота говорят почти столько же, сколько сам пилот.
Тот же подход применим к российским ноотропам, которые часто опираются ровно на такие публикации: разборы есть в карточках Когитума и Церебролизина с Кортексином, а по добавкам собрана сводная таблица доказательств. Общая картина методов — в гиде по лечению СДВГ.
Коротко: главное
- В открытом исследовании амантадина оценка родителей упала с 41,0 до 28,9, размер эффекта 1,5 — но контрольной группы не было.
- Разница «до и после» складывается из действия препарата, ожидания, регрессии к среднему и внимания исследователей.
- Одна лишь смена оценщика на независимого уменьшала эффект почти вдвое в метаанализе 2014 года.
- В самой работе по амантадину оценка учителей дала эффект 1,0 против 1,5 у родителей — тот же механизм внутри одного исследования.
- Две трети людей с СДВГ проходят через периоды спонтанного улучшения, и шестинедельное наблюдение легко попадает на такой участок.
- Открытые исследования нужны для оценки переносимости и подбора доз, а не для выводов об эффективности.
Частые вопросы
Что такое открытое исследование?
Работа без контрольной группы и без ослепления: препарат получают все участники, все знают об этом, а результат сравнивается с исходным состоянием тех же людей. Дизайн простой и дешёвый, но он не позволяет отделить эффект препарата от ожидания и естественных колебаний.
Значит, результаты открытых работ можно игнорировать?
Нет, у них своя задача: оценить переносимость, подобрать дозы и решить, стоит ли вкладываться в большое испытание. Игнорировать стоит не сами работы, а выводы об эффективности, которые из них делают в пересказах.
Что такое регрессия к среднему?
Свойство колеблющихся показателей: измерение, сделанное в крайне плохой момент, почти наверняка сменится лучшим просто потому, что первое было хуже обычного. В исследования люди приходят как раз в плохой период, поэтому улучшение появляется даже без вмешательства.
Насколько велика примесь ожидания?
Её измеряли: в метаанализе когнитивных тренировок эффект на симптомы падал с 0,37 до 0,20 при переходе от заинтересованных оценщиков к независимым. То есть почти половина результата держалась на том, кто именно смотрел.
Почему оценки родителей и учителей расходятся?
Учитель дальше от процесса и меньше вовлечён в ожидания, а ещё видит ребёнка в другой обстановке. В работе по амантадину эффект по оценке учителей оказался 1,0 против 1,5 по оценке родителей.
Как быстро понять качество исследования?
Три вопроса: была ли контрольная группа, знали ли участники о распределении и сколько было людей. И четвёртый — что написали сами авторы в выводах: осторожные формулировки там стоят не из скромности.
Источники
Donfrancesco R., Calderoni D., Vitiello B. — Open-label amantadine in children with attention-deficit/hyperactivity disorder. J Child Adolesc Psychopharmacol, 2007; Cortese S. et al. — Cognitive training for attention-deficit/hyperactivity disorder: meta-analysis of clinical and neuropsychological outcomes from randomized controlled trials. J Am Acad Child Adolesc Psychiatry, 2015; Sibley M. H. et al. — Variable patterns of remission from ADHD in the Multimodal Treatment Study of ADHD. Am J Psychiatry, 2022; Mohammadi M.-R. et al. — Amantadine versus methylphenidate in children and adolescents with ADHD: a randomized, double-blind trial. Hum Psychopharmacol, 2010.
Материал носит образовательный характер и не заменяет консультацию специалиста. Диагноз СДВГ ставит врач; назначение, замену и отмену препаратов обсуждайте только с ним.
