Почему бесполезный метод «помогает»: плацебо, регрессия к среднему и оценки родителей
Улучшение после бесполезной процедуры чаще всего настоящее — неверно объяснение, а не наблюдение. Плацебо-эффект при СДВГ измерен в 128 рандомизированных испытаниях с участием почти двадцати тысяч человек и оказался значимым по всем показателям, причём наибольшим он был в оценках клиницистов, а не пациентов. Вместе с регрессией к среднему, естественным течением и смещением оценки заинтересованного наблюдателя это объясняет практически любой результат без всякого участия заявленного механизма.
Разбираем, чем вопрос «стало ли лучше» отличается от вопроса «из-за чего», что показали 128 плацебо-контролируемых исследований при СДВГ, почему оценка знающего наблюдателя вдвое выше ослеплённой, как работает регрессия к среднему и почему она сильнее всего у тех, кто обратился за помощью в худший момент, — и какими четырьмя приёмами можно отделить настоящее улучшение от кажущегося без всякого оборудования.
Содержание
- Улучшение бывает настоящим, а объяснение — нет
- Плацебо: что показали 128 исследований
- Кто оценивает, тот и видит эффект
- Регрессия к среднему
- Естественное течение и взросление
- Что вложено, то и защищаем
- Как отличить настоящее улучшение от кажущегося
- Почему знание о механизмах не защищает
- Что из этого не следует
- Коротко: главное
- Частые вопросы
- Источники
Улучшение бывает настоящим, а объяснение — нет
Разговор о недоказанных методах обычно упирается в одну реплику: «а нам помогло». Спорить с ней бессмысленно и не нужно, потому что чаще всего она правдива.
Различать надо две вещи. Первая — стало ли лучше. Вторая — из-за чего именно. Утверждение «нам помогло» отвечает на первый вопрос и молчит про второй, а вся практическая разница между методами лежит именно во втором: если улучшение пришло не от процедуры, то повторять надо не процедуру.
Ниже разобраны механизмы, из-за которых бесполезное вмешательство выглядит работающим. Ни один из них не предполагает, что человек обманывается или обманывает. Все они действуют и у внимательных, критично настроенных людей, и знание о них само по себе от них не защищает.
Плацебо: что показали 128 исследований
Плацебо-эффект при СДВГ измерен, и масштаб измерения делает эти данные весомыми.
Систематический обзор с метаанализом собрал 128 двойных слепых рандомизированных плацебо-контролируемых испытаний препаратов: 10 578 детей и подростков и 9175 взрослых. Значимые плацебо-эффекты обнаружились по всем показателям эффективности, причём разной величины в разных исследованиях, и признаков публикационного смещения не нашлось.
Отдельная деталь того же обзора, которая переворачивает бытовое представление: наибольший плацебо-эффект давали оценки клиницистов, а не пациентов и не родителей. Вопреки ожиданию, профессиональная подготовка от этого не защищает.
Ещё один результат: величина плацебо-ответа положительно связана с величиной ответа на активный препарат. Иными словами, часть того, что «работает» в настоящем лечении, — те же неспецифические факторы: ожидание, регулярность, внимание, сам факт, что чем-то занялись.
Из этого следуют две вещи, а не одна. Плацебо-эффект — не насмешка и не фикция, он реально меняет самочувствие. Но он не отличает работающий метод от неработающего, и потому «стало лучше» доказательством эффективности не является.
Кто оценивает, тот и видит эффект
Второй механизм ещё практичнее, потому что виден невооружённым глазом на одних и тех же исследованиях.
Метаанализ 16 рандомизированных испытаний когнитивного тренинга у 759 детей с СДВГ дал две разные картины из одних данных. Когда симптомы оценивали люди, знавшие о назначении — обычно родители, — эффект составлял 0,37 по общему баллу и 0,47 по невнимательности. Когда оценку давали вероятно ослеплённые наблюдатели, цифры падали до 0,20 и 0,32, причём вторая теряла значимость.
Метаанализ 2023 года, взявший уже 36 испытаний и специально смотревший на ослеплённые исходы, эффекта на общий балл СДВГ не нашёл вовсе.
| Кто оценивал | Общий балл СДВГ | Невнимательность |
|---|---|---|
| Оценщик знал о назначении | 0,37 | 0,47 |
| Оценщик был ослеплён | 0,20 | 0,32, значимости нет |
| Ослеплённые исходы, метаанализ 2023 года | Эффекта нет | 0,17 |
Родитель, который возил ребёнка на занятия, платил и следил за расписанием, оценивает не с нуля. Это не предвзятость в дурном смысле: он действительно видит перемены — в регулярности, в настроении, в том, что ребёнком занимаются. Просто эти перемены не обязательно про заявленный механизм.
Регрессия к среднему
Механизм чисто статистический, и он объясняет больше «выздоровлений», чем принято думать.
Любой изменчивый показатель колеблется вокруг своего обычного уровня. За помощью обращаются не в средний день, а в худший: после провальной четверти, после недели срывов, после разговора с учителем. То есть точка отсчёта берётся на пике.
Дальше состояние возвращается к обычному уровню просто потому, что пик — это отклонение, а не новая норма. Улучшение произойдёт при любом вмешательстве и без вмешательства вовсе, но по времени совпадёт с тем, что начали делать.
Проверить это на себе можно мысленно: вспомните, в каком состоянии вы записывались на курс. Если в спокойном и ровном — регрессия к среднему ни при чём. Если после тяжёлого месяца — она объясняет часть результата, и тем большую, чем хуже было в тот момент.
У этого механизма есть подтверждение в тех же данных о плацебо: исходная тяжесть состояния влияла на величину плацебо-ответа. Чем хуже старт, тем заметнее улучшение независимо от лечения.
Естественное течение и взросление
Третий механизм действует медленнее и потому реже приходит в голову.
Проявления СДВГ меняются с возрастом сами по себе: двигательная гиперактивность у большинства заметно снижается к подростковому возрасту, часть навыков саморегуляции дозревает позже сверстников, но дозревает. Курс, попавший на такой период, соберёт этот результат себе.
Сюда же относятся сезонные и обстоятельственные изменения. Конец учебного года и начало каникул меняют картину сильнее любых занятий; смена учителя, переезд в другой класс, разрешившийся конфликт с одноклассником делают то же самое. Если параллельно шёл курс, связь между ним и улучшением возникает в голове автоматически.
Отдельный случай — параллельные вмешательства. Семья, которая записалась на курс, обычно в тот же период меняет и другое: режим сна, экранное время, договорённости со школой. Отнести результат к чему-то одному после этого невозможно.
Что вложено, то и защищаем
Четвёртый механизм касается уже не наблюдения, а его интерпретации, и работает тем сильнее, чем дороже обошёлся метод.
Человек, потративший деньги, время и надежду, оценивает результат иначе, чем сторонний наблюдатель. Это не глупость и не упрямство: признать вложения напрасными психологически дороже, чем найти в изменениях подтверждение. Поэтому память после курса подстраивается — прежнее состояние вспоминается чуть хуже, чем было, нынешнее чуть лучше.
Отсюда практическое правило, которое стоит соблюдать до, а не после: записывать исходное состояние письменно и конкретно. Не «плохая концентрация», а «делает домашнее задание за три часа вместо часа», «за неделю три раза забыл сменку». Записи не подстраиваются, а память подстраивается.
Как отличить настоящее улучшение от кажущегося
Полностью защититься нельзя, но большую часть ошибок снимают четыре приёма.
| Приём | Что он отсекает |
|---|---|
| Записать конкретные признаки до начала | Подстройку памяти |
| Спросить того, кто не знает о занятиях | Смещение оценки заинтересованным наблюдателем |
| Менять одно за раз | Приписывание чужого результата |
| Смотреть, держится ли эффект через три месяца после окончания | Плацебо и эффект новизны |
Особенно полезен второй. Учитель, не знающий, что ребёнок ходит на курс, — самый дешёвый доступный аналог ослеплённого наблюдателя. Достаточно спросить его об изменениях, не упоминая занятий.
Четвёртый приём отсекает больше всего. Плацебо и эффект новизны со временем ослабевают, а настоящее изменение навыка — нет. Поэтому вопрос «как дела спустя три месяца после окончания» информативнее вопроса «как прошёл курс».
Почему знание о механизмах не защищает
Неприятная часть: перечисленное работает и с теми, кто про это читал.
Плацебо-эффект не отключается осведомлённостью. Регрессия к среднему — свойство самих чисел, а не наблюдателя. Подстройка памяти происходит без участия воли, и человек не замечает момента, когда прежнее состояние стало вспоминаться чуть хуже, чем было.
Поэтому единственная работающая защита — процедурная, а не интеллектуальная. Не «я буду оценивать критично», а записанные заранее признаки, назначенный заранее срок и человек со стороны, которого можно спросить. Всё это делается до начала, потому что после начала честной точки отсчёта уже нет.
Отсюда же следует, как читать чужие отзывы. Отзыв через неделю после курса написан в самой ненадёжной точке: новизна ещё действует, вложения свежи, отсроченного измерения нет. Отзыв через полгода стоил бы гораздо больше, но таких почти не пишут — к этому моменту человек либо забыл про курс, либо давно занят чем-то другим.
И последнее замечание про добросовестность специалистов. Ничто из разобранного не требует, чтобы центр обманывал: сотрудники видят те же улучшения, что и родители, и по тем же причинам. Метод может держаться десятилетиями на искренней убеждённости всех участников — именно поэтому нужны исследования с ослеплением, а не наблюдения практиков.
Что из этого не следует
Разбор механизмов легко прочитать как призыв ничего не делать, и это неверный вывод.
Плацебо-эффект не означает, что человеку «только кажется». Самочувствие действительно меняется, и в клинической практике неспецифические факторы — внимание врача, понятный план, регулярность — используются сознательно, потому что они часть результата и у настоящего лечения тоже.
Не следует и того, что все методы одинаковы. Разница между доказанным и недоказанным вмешательством именно в том, что первое даёт эффект сверх перечисленных механизмов, и этот излишек измерен в исследованиях с ослеплением. Что при СДВГ доказано и с какими результатами — в материале «Лечение СДВГ: что работает и что не работает», а для детей — в материале «Лечение СДВГ у детей: что доказано, что бесполезно, что вредно».
И последнее: перечисленное не повод обесценивать чужой опыт в разговоре. «Нам помогло» — честное наблюдение, и спорить стоит не с ним, а с выводом «значит, это работает и вам поможет тоже».
Как применить всё это к конкретному предложению центра, разобрано в материале «Как проверить метод, который предлагает клиника». Как те же механизмы работают на полке с добавками — в материале «Аудит полки с БАДами при СДВГ». Родительская часть работы разобрана в книге «СДВГ и родительство».
Коротко: главное
- «Нам помогло» отвечает на вопрос, стало ли лучше, и молчит о том, из-за чего именно.
- Метаанализ 128 плацебо-контролируемых испытаний при СДВГ: 10 578 детей и подростков, 9175 взрослых.
- Значимый плацебо-эффект найден по всем показателям эффективности, без признаков публикационного смещения.
- Наибольший плацебо-эффект дали оценки клиницистов, а не пациентов и не родителей.
- Величина плацебо-ответа положительно связана с величиной ответа на активный препарат.
- Оценка знающего наблюдателя завышает эффект примерно вдвое: 0,37 против 0,20 по общему баллу.
- Регрессия к среднему: за помощью обращаются на пике трудностей, после которого состояние возвращается к обычному уровню.
- Исходная тяжесть состояния влияла на величину плацебо-ответа — это подтверждает роль регрессии.
- Проявления СДВГ меняются с возрастом сами, и курс, попавший на такой период, соберёт этот результат себе.
- Память после вложений подстраивается: прежнее состояние вспоминается хуже, чем было, поэтому исходную точку записывают заранее.
- Учитель, не знающий о занятиях, — самый дешёвый доступный аналог ослеплённого наблюдателя.
- Плацебо и эффект новизны ослабевают со временем, поэтому вопрос о состоянии через три месяца после курса информативнее вопроса о самом курсе.
Частые вопросы
Если ребёнку стало лучше, разве это не доказательство?
Это доказательство того, что стало лучше, но не того, что причина в процедуре. Улучшение после вмешательства и улучшение из-за вмешательства — разные утверждения, и различает их только сравнение с контрольной группой.
Насколько велик плацебо-эффект при СДВГ?
Он значим по всем показателям эффективности — это установлено метаанализом 128 двойных слепых плацебо-контролируемых испытаний, куда вошли 10 578 детей и подростков и 9175 взрослых. Величина различалась между исследованиями, а признаков публикационного смещения не нашлось.
Правда ли, что специалисты менее подвержены плацебо-эффекту?
В том же метаанализе наибольший плацебо-эффект давали как раз оценки клиницистов по сравнению с другими оценщиками. Профессиональная подготовка от этого механизма не защищает.
Что такое регрессия к среднему простыми словами?
Изменчивый показатель колеблется вокруг обычного уровня, а за помощью обращаются в худший момент. Возвращение к обычному уровню произойдёт само, но по времени совпадёт с началом лечения и будет приписано ему.
Значит, плацебо — это просто самовнушение?
Нет. Самочувствие при этом меняется по-настоящему, и неспецифические факторы — внимание врача, понятный план, регулярность — работают и в составе настоящего лечения. Метаанализ показал, что ответ на плацебо и ответ на препарат положительно связаны между собой.
Как проверить, помогает ли метод именно нам?
Записать конкретные признаки до начала, менять что-то одно за раз, спросить об изменениях человека, не знающего о занятиях, и посмотреть, держится ли эффект через три месяца после окончания.
Почему нужно спрашивать именно того, кто не знает о занятиях?
Потому что оценка знающего наблюдателя систематически выше: на одних и тех же исследованиях эффект составлял 0,37 у знавших о назначении и 0,20 у ослеплённых, а по невнимательности во втором случае терял статистическую значимость.
Почему важен срок в три месяца после окончания?
Плацебо-эффект и эффект новизны со временем ослабевают, а настоящее изменение навыка — нет. Поэтому состояние спустя несколько месяцев после курса говорит о методе больше, чем состояние в последний день курса.
Мы меняли сразу многое — как теперь понять, что подействовало?
Никак: при нескольких одновременных изменениях результат не относится ни к одному из них. Это не повод для сожалений, а повод в следующий раз проверять по одному изменению за раз.
Что отвечать знакомым, которым «помогло»?
Соглашаться с наблюдением и не соглашаться с выводом. Улучшение у них, скорее всего, было; спорным остаётся переход от «нам стало лучше» к «значит, метод работает и поможет вам».
Источники
- Faraone SV et al. Placebo and nocebo responses in randomised, controlled trials of medications for ADHD: a systematic review and meta-analysis. Mol Psychiatry, 2022;27(1):212-219 — метаанализ 128 плацебо-контролируемых РКИ при СДВГ: величина плацебо-ответа и роль оценщика
- Cortese S et al. Cognitive training for attention-deficit/hyperactivity disorder: meta-analysis of clinical and neuropsychological outcomes from randomized controlled trials. J Am Acad Child Adolesc Psychiatry, 2015 — 16 РКИ и 759 детей: падение эффекта с 0,37 до 0,20 при переходе к ослеплённой оценке
- Westwood SJ et al. Computerized cognitive training in attention-deficit/hyperactivity disorder (ADHD): a meta-analysis of randomized controlled trials with blinded and objective outcomes. Mol Psychiatry, 2023 — 36 РКИ с ослеплёнными исходами: эффекта на общий балл СДВГ нет
Материал носит справочный характер и не заменяет консультацию врача. Решения о диагностике и лечении принимаются очно и индивидуально.
