Как читать исследование про добавку и не обмануться

Вопрос «есть ли исследования» ничего не решает: они есть почти у всего, включая вещества, действие которых не подтвердилось. Решают другие вопросы — с чем сравнивали, кто оценивал результат, на ком проверяли и насколько велика разница; именно в этих местах и происходит подмена.

Разбираем семь мест, где заявление о пользе добавки расходится с тем, что показало исследование: отсутствие группы сравнения, неслепая оценка, работы на клетках и грызунах, малые выборки, подмена измеряемого исхода, финансирование производителем и разница между статистической значимостью и величиной эффекта.

Содержание

• Ошибка, с которой начинается всё остальное
• С чем сравнивали
• Кто оценивал результат
• На чём проверяли: люди, мыши или клетки
• Сколько было участников и как долго
• Что именно измеряли
• Кто платил и что не опубликовали
• Насколько велика разница
• Три примера, на которых это видно
• Где искать первоисточник
• Что делать с итогом
• Коротко: главное
• Частые вопросы
• Источники

Ошибка, с которой начинается всё остальное

Человек, выбирающий добавку, обычно спрашивает: «есть ли исследования?» Ответ почти всегда «да» — и в этом ловушка. Исследования есть у чего угодно, включая вещества, действие которых не подтвердилось. Вопрос, который что-то решает, звучит иначе: какие именно исследования и что они сравнивали.

Разница видна на простом примере. Фраза «клинически доказано» юридически ничего не значит — это оборот рекламы, а не термин. Фраза «в двойном слепом плацебо-контролируемом испытании на 200 участниках разница составила столько-то» значит многое, и её можно проверить.

Дальше — семь мест, где чаще всего происходит подмена, и что смотреть в каждом.

С чем сравнивали

Первое и самое результативное действие — найти группу сравнения. Без неё цифры не значат почти ничего.

Открытое исследование без контроля измеряет состояние людей до приёма и после. В эту разницу попадает всё сразу: естественные колебания, сезон, эффект наблюдения, ожидание и, возможно, действие вещества. Разделить их такой конструкцией невозможно, а результат в пересказе становится «добавка улучшила внимание на 30 %».

У добавок это встречается чаще, чем у лекарств: регистрация БАД не требует доказательств эффективности, поэтому испытание нужно не регулятору, а маркетингу — и делается оно самым дешёвым способом.

Величина плацебо-ответа в исследованиях при СДВГ измерена и оказалась существенной — плацебо и ноцебо в исследованиях СДВГ.

Кто оценивал результат

Второй по важности вопрос — чьими глазами измеряли улучшение.

Крупный разбор немедикаментозных вмешательств при СДВГ сравнил два способа оценки одних и тех же данных. Когда результат оценивали люди, знавшие о вмешательстве, эффекты выглядели убедительно. При слепой оценке независимыми наблюдателями они резко уменьшались, а по ряду методов исчезали совсем.

Для добавок это критично: почти все исследования по ним опираются на родительские опросники. Родитель, который купил добавку, вложил деньги и надежду, — не нейтральный измерительный прибор, и дело здесь не в честности.

На чём проверяли: люди, мыши или клетки

Значительная часть громких заявлений про «природные ноотропы» опирается на работы, где вещество вообще не давали человеку.

Отдельная ловушка — доза. В опытах на клетках концентрации бывают такими, каких в организме не получить приёмом внутрь.

Сколько было участников и как долго

Малая выборка даёт неустойчивый результат: два-три случайных совпадения сдвигают среднее.

Ориентир простой — работы на 20–40 участниках относят к пилотным. Они годятся, чтобы обосновать большое испытание, но не чтобы делать выводы о пользе. Если после пилотного исследования за десять лет не появилось крупного, это само по себе сигнал.

Длительность тоже имеет значение. Улучшение за две недели у состояния, которое длится годами, мало что говорит, а отдалённая безопасность на таком сроке вообще не проверяется.

Что именно измеряли

Подмена исхода — самый незаметный приём.

Вместо симптомов измеряют то, что легче сдвинуть: уровень вещества в крови, результат одного компьютерного теста, показатель ЭЭГ. Улучшение лабораторного показателя подают как улучшение состояния, хотя связь между ними может быть слабой.

Второй вариант подмены — множественные сравнения. В исследовании измерили пятнадцать показателей, значимая разница нашлась в одном, и заголовок построен именно на нём. При пятнадцати проверках одно случайное совпадение — ожидаемый результат, а не открытие.

Третий вариант — смена основного исхода по ходу работы. Именно поэтому существуют реестры испытаний: заявленный заранее исход можно сверить с опубликованным.

Кто платил и что не опубликовали

Финансирование производителем не делает исследование ложным, но систематически смещает картину: работы, оплаченные производителем, чаще дают положительный результат.

Рядом стоит публикационное смещение — исследования с отрицательным результатом публикуют реже и позже. В итоге в обзор попадает то, что «сработало», а неудачные попытки остаются в столе. Инструменты обнаружения этого перекоса существуют давно: асимметрия воронкообразного графика в метаанализе — признак того, что часть работ отсутствует.

Общая оценка ситуации известна из работы, ставшей классической: большинство опубликованных находок в биомедицине не воспроизводится, и вероятность этого выше там, где выборки малы, эффекты малы, а поле коммерчески заряжено. Добавки попадают во все три условия сразу.

Насколько велика разница

Последний шаг — посмотреть не на факт различия, а на его величину.

Статистическая значимость означает лишь то, что результат вряд ли случаен. Она ничего не говорит о размере: на большой выборке значимой становится разница, которую человек не заметит.

Что смотреть вместо звёздочек значимости:

• размер эффекта — стандартизованная разница около 0,2 считается малой, 0,5 средней, 0,8 большой;
• доверительный интервал — если он широкий и почти касается нуля, результат неустойчив;
• абсолютную разницу, а не относительную: «риск снизился на 50 %» при исходном риске 2 % означает снижение до 1 %;
• сравнение с альтернативой — насколько это больше того, что даёт то, что уже применяется.

Разбор конкретных цифр по отдельным веществам — добавки и БАДы при СДВГ: сводная таблица доказательств. Как выбирать, когда данных мало, а решение нужно принять, разбирает книга серии SDVG.PRO «СДВГ и принятие решений».

Три примера, на которых это видно

Абстрактные правила проверяются на конкретике, и в этой области примеры под рукой.

Ежовик гребенчатый. Гриб Hericium erinaceus продаётся как средство «для памяти и нейрогенеза». В России как лекарственный препарат он не зарегистрирован — в Государственном реестре лекарственных средств его нет, он обращается как пищевой продукт и компонент БАД. Исследования на людях существуют, но их мало, они малы по объёму и проведены преимущественно на пожилых с лёгкими когнитивными нарушениями; работ при СДВГ нет. Большая часть громких утверждений про нейрогенез опирается на опыты на клетках и грызунах, то есть на первые две строки таблицы выше.

L-теанин. Аминокислота из чайного листа, у которой есть небольшие исследования на людях, в том числе в сочетании с кофеином. Здесь ситуация лучше: работы контролируемые, есть измерения внимания у подростков. Но выборки малы, а эффект относится к узким лабораторным показателям, а не к симптомам в жизни.

Родиола розовая. Классический адаптоген с длинной историей применения и коротким списком качественных испытаний. Исследования чаще касаются утомляемости у здоровых, а не симптомов расстройства; часть работ проведена производителями экстракта.

Общее у всех трёх — не то, что они бесполезны, а то, что уверенность продавца сильно опережает состояние данных. Проверка по семи пунктам выше занимает пятнадцать минут и обычно даёт тот же ответ: интересно, но недостаточно.

Где искать первоисточник

Пересказ в новости и сама статья расходятся регулярно, поэтому имеет смысл дойти до оригинала.

В тексте новости почти всегда есть фамилия автора, журнал и год. По ним статья находится в PubMed — открытой базе медицинских публикаций. Аннотация доступна бесплатно всегда, у части статей открыт и полный текст.

В аннотации смотрят четыре вещи: дизайн (рандомизированное, слепое, контролируемое или нет), число участников, что было основным исходом и какой получен результат с интервалом. Этого хватает, чтобы понять, стоит ли читать дальше.

Отдельно стоит проверять, идёт ли речь о людях: слова in vitro и «на модели у мышей» в аннотации закрывают вопрос о применимости.

Подробный разбор того, как устроена сама статья и где в ней что искать, — как читать научную статью про СДВГ и не обмануться.

Что делать с итогом

Практический вывод не в том, чтобы отвергать всё подряд. Он в том, чтобы соотносить уверенность заявления с качеством стоящих за ним данных.

Одно пилотное открытое исследование на тридцати участниках — основание для интереса, а не для покупки. Несколько независимых слепых плацебо-контролируемых испытаний с согласующимися результатами — другое дело.

И отдельный вопрос, который стоит задавать раньше остальных: с чем сравнивается предполагаемая польза. Если у состояния есть вмешательства с сильной доказательной базой, добавка конкурирует не с пустотой, а с ними — лечение СДВГ у детей: что доказано, что бесполезно.

Коротко: главное

• «Клинически доказано» — оборот рекламы, а не термин: юридического значения у него нет.
• Открытое исследование без контроля смешивает действие вещества с ожиданием и естественными колебаниями.
• Регистрация БАД не требует доказательств эффективности, поэтому испытания делаются самым дешёвым способом.
• При слепой оценке эффекты немедикаментозных вмешательств при СДВГ резко уменьшаются.
• Работы на клетках и грызунах не отвечают на вопрос, поможет ли вещество человеку.
• Выборка в 20–40 участников — пилотный уровень: основание для интереса, а не для выводов.
• Подмена исхода: вместо симптомов измеряют лабораторный показатель, который легче сдвинуть.
• Пятнадцать измеренных показателей и одна значимая разница — ожидаемый результат, а не открытие.
• Исследования с отрицательным результатом публикуют реже, и в обзор попадает смещённая картина.
• Статистическая значимость не говорит о размере: на большой выборке значимой станет незаметная разница.

Частые вопросы

Источники

• Sonuga-Barke EJ et al. Nonpharmacological interventions for ADHD: systematic review and meta-analyses of randomized controlled trials of dietary and psychological treatments. Am J Psychiatry, 2013 — при слепой оценке эффекты немедикаментозных методов падают
• Ioannidis JP Why most published research findings are false. PLoS Med, 2005;2(8):e124 — почему большинство опубликованных находок не воспроизводится
• Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ, 1997;315(7109):629-34 — воронкообразный график и тест на публикационное смещение
• Sterne JAC et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ, 2019;366:l4898 — RoB 2: как оценивают риск систематической ошибки
• Barnett AG et al. Regression to the mean: what it is and how to deal with it. Int J Epidemiol, 2005;34(1):215-20 — регрессия к среднему и почему «до и после» обманывает

Материал носит справочный характер и не заменяет консультацию врача. Решения о диагностике и лечении принимаются очно и индивидуально.

Автор-редактор: Григорий Зиневич