Почему исследования мозга при СДВГ так часто не воспроизводятся
Медианный размер выборки нейровизуализационного исследования — около двадцати пяти человек, а для воспроизводимых связей между мозгом и поведением нужны тысячи. В маленькой выборке настоящий эффект почти невозможно обнаружить, зато можно случайно получить крупный — и именно такие работы чаще попадают в печать.
Разбираем, почему малые выборки завышают эффекты, что показывают исследования на тысячах участников, из-за чего работы расходятся между собой, как читать новости про мозг и что меняется в самой области.
Содержание
- Как выглядит проблема со стороны читателя
- Главное число: медиана двадцать пять
- Почему маленькая выборка даёт большой эффект
- Что видно, когда выборка большая
- Пять источников расхождений между работами
- Как читать новость про мозг
- Три примера, на которых это видно
- Значит ли это, что нейробиологии СДВГ нет
- Что это меняет для человека с диагнозом
- Что меняется сейчас
- Коротко: главное
- Частые вопросы
- Источники
Как выглядит проблема со стороны читателя
Новость про мозг при СДВГ появляется примерно раз в месяц. Уменьшенная область, изменённая связность, «обнаружен биомаркер», «три подтипа по данным МРТ». Через год выходит другая работа с противоположным результатом, и обе остаются в интернете.
У этого есть измеримая причина, и она не в недобросовестности исследователей.
Главное число: медиана двадцать пять
В 2022 году в Nature вышла работа, которая изменила разговор о нейровизуализации. Авторы взяли три крупнейших доступных набора данных — суммарно около пятидесяти тысяч человек — и посчитали, какого размера бывают связи между устройством мозга и поведенческими или психическими признаками и как эти связи воспроизводятся при разном размере выборки.
Первое, что они привели, — медианный размер выборки нейровизуализационного исследования: около двадцати пяти человек.
Второе: связи «мозг — поведение» оказались меньше, чем предполагалось. При выборке в двадцать пять человек это означает, что настоящий эффект обнаружить почти невозможно, зато можно случайно получить крупный — и опубликовать его.
Третье: по мере роста выборки до тысяч человек воспроизводимость улучшалась, а завышение размеров эффекта уменьшалось.
Формулировка вывода вынесена в заголовок статьи: воспроизводимые исследования связей мозга и поведения требуют тысяч участников.
Почему маленькая выборка даёт большой эффект
Механизм неочевиден, поэтому стоит разобрать.
В маленькой выборке результаты сильно разбросаны — случайность влияет больше, чем в большой. Значимость при этом достигается только при крупном значении: слабый эффект в такой выборке просто не пройдёт порог.
Дальше работает публикационный отбор. Исследование, где ничего не найдено, публикуют реже. В печать попадают именно те маленькие работы, где эффект случайно оказался крупным.
Читатель видит опубликованные работы и делает вывод, что эффект большой. Следующая группа пытается повторить на новой выборке — и не находит ничего.
Это описано задолго до 2022 года: обзор 2013 года о недостаточной мощности в нейронауке показал, что низкая мощность не только пропускает существующие эффекты, но и делает найденные менее достоверными.
| Что происходит | В маленькой выборке | В большой выборке |
|---|---|---|
| Разброс результатов | велик | мал |
| Порог значимости достигается | только при крупном значении | и при реальном малом |
| Публикуется | случайно крупный результат | результат, близкий к истинному |
| Повторение | обычно проваливается | обычно воспроизводится |
Что видно, когда выборка большая
Полезно посмотреть на противоположный случай: что показывают исследования, где участников тысячи.
Мега-анализ международного консорциума 2017 года объединил 1713 человек с СДВГ и 1529 человек без диагноза из двадцати трёх центров, медианный возраст — четырнадцать лет. Здесь различия нашлись, и они устойчивы: меньше объёмы миндалины, прилежащего ядра, скорлупы, хвостатого ядра, гиппокампа и меньше внутричерепной объём.
Теперь размеры этих различий. По стандартной мере они составляют от 0,10 до 0,19 — то есть очень малые. Для сравнения: различие в росте между мужчинами и женщинами по этой же шкале выражается величиной около двух.
Что это значит на практике: распределения почти полностью перекрываются. По снимку мозга нельзя сказать, есть ли у человека СДВГ, — и именно поэтому МРТ не входит в диагностику. Диагноз клинический, это фиксирует и консенсус Всемирной федерации СДВГ.
Ещё две находки той же работы: у взрослых различия оказались незначимыми, а приём психостимуляторов и наличие сопутствующих расстройств на результаты не влияли — последнее опровергает более ранние предположения о том, что различия объясняются лечением.
Пять источников расхождений между работами
Размер выборки. Разобран выше и остаётся главным.
Кого именно набрали. «СДВГ» в одном исследовании — дети 8–10 лет с комбинированным типом без сопутствующих расстройств, в другом — взрослые с тревогой и депрессией в анамнезе. Это разные группы, и разные результаты у них закономерны.
Как обрабатывали снимки. Один и тот же массив данных, пропущенный через разные пакеты обработки, даёт различающиеся результаты. Поэтому крупные консорциумы специально согласуют протоколы.
Сколько сравнений сделали. Мозг делится на десятки областей, каждая сравнивается по нескольким показателям; без поправки на множественность что-нибудь «значимое» найдётся почти всегда.
Что считали результатом. Опросник психического здоровья и когнитивный тест дают разную устойчивость связей: в работе 2022 года более надёжные эффекты получались как раз для когнитивных тестов, а не для опросников.
Как читать новость про мозг
Практический навык, который экономит нервы. Пять вопросов к любому заголовку.
Сколько человек. Если в тексте нет числа участников, его стоит искать в источнике; если участников меньше сотни, речь идёт о поисковом результате, а не об установленном факте.
Есть ли группа сравнения. «У людей с СДВГ обнаружено X» без контрольной группы — не находка.
Повторяли ли на другой выборке. Одиночная работа — заявка, а не вывод.
Какого размера эффект. Формулировка «значимо меньше» ничего не говорит о величине: различия 0,10 по стандартной мере значимы на больших выборках и практически не видны на отдельном человеке.
Что именно утверждается. «Связано с» — не «вызывает» и не «позволяет диагностировать».
Отдельная категория заголовков — про «биомаркер» и «диагностику по МРТ». Пока различия имеют такой размер, диагностика по снимку невозможна арифметически, а не из-за нехватки оборудования. Что при этом продают в клиниках под видом такой диагностики, разобрано в материале сколько стоит диагностика СДВГ.
Три примера, на которых это видно
Абстрактный разбор становится понятнее на конкретных сюжетах, знакомых по новостям.
«Уменьшенная лобная доля». Ранние работы на десятках участников сообщали о заметных различиях в объёме лобных областей. На больших выборках различия остались, но сжались до величин, при которых по отдельному снимку ничего сказать нельзя. Заголовок при этом не поменялся, поменялось только число за ним.
«Дофаминовый дефицит доказан». Работы с позитронно-эмиссионной томографией на малых группах давали противоречивые результаты в обе стороны. Дофаминовая гипотеза осталась рабочей — но опирается она сегодня не на снимки, а на фармакологию и генетику; разбор того, что продают под видом их измерения, — анализ волос и «нейромедиаторы в моче».
«Три подтипа СДВГ по данным МРТ». Деления на биологические подтипы регулярно появляются и почти никогда не повторяются на независимых данных: при малых выборках кластерный анализ находит группы даже в случайном шуме.
Что объединяет все три сюжета: сама гипотеза не была абсурдной. Ошибка не в направлении поиска, а в том, что промежуточный результат подавался как установленный факт — и в прессе, и иногда в самих статьях. Практический вывод для читателя один: между «исследователи предполагают» и «доказано» лежат обычно годы и на два порядка больше участников.
Значит ли это, что нейробиологии СДВГ нет
Нет, и вывод «раз не воспроизводится, значит, ничего нет» так же неверен, как доверчивое отношение к каждой новости.
Что устойчиво воспроизводится: различия на уровне групп при больших выборках; высокая наследуемость состояния; связь с генами, работающими в раннем развитии мозга; эффекты лечения, показанные в рандомизированных испытаниях.
Что не воспроизводится: конкретные «маркеры», обнаруженные на десятках участников; деления на подтипы по снимкам; заявления о том, что по МРТ можно поставить диагноз.
Разница между этими двумя списками — не в теме, а в масштабе доказательства. Общая картина того, что известно и что нет, — в материале чего наука о СДВГ до сих пор не знает, а разбор одной из самых цитируемых находок — задержка созревания коры.
Что это меняет для человека с диагнозом
Кризис воспроизводимости звучит как проблема учёных, но у него есть прямые последствия для пациента.
Первое: он объясняет, почему врач не назначает МРТ для подтверждения диагноза, а на вопрос «а можно посмотреть, что там с мозгом» отвечает отказом. Это не экономия и не пренебрежение, а следствие того, что снимок ничего не решает на уровне отдельного человека.
Второе: он объясняет, откуда берутся платные «нейродиагностики». Клиника, продающая обследование на основе одиночного исследования с сорока участниками, формально ссылается на науку — и формально не врёт. Проверка простая: спросить, сколько человек было в работе, на которую опираются, и повторял ли кто-нибудь результат.
Третье, самое практичное: он задаёт разумные ожидания от новостей. Если очередная публикация обещает скорый прорыв в лечении на основании работы с тридцатью участниками, вероятность того, что через пять лет это станет клинической практикой, мала. А вот скучные результаты на десятках тысяч человек — про наследуемость, про эффективность терапии, про исходы — переживают проверку и в итоге доходят до кабинета врача.
Что меняется сейчас
Область реагирует на кризис воспроизводимости, и изменения видны.
Растут выборки: вместо отдельных лабораторий работают консорциумы, объединяющие десятки центров, и наборы данных на десятки тысяч человек.
Появилась предварительная регистрация: план анализа публикуется до того, как получены данные, что лишает смысла перебор гипотез.
Согласуются протоколы обработки — иначе результаты разных центров нельзя объединять.
Меняются требования журналов к отчётности: размеры эффекта и доверительные интервалы становятся обязательными, а не желательными.
Чего ждать от этого читателю: меньше громких одиночных находок и больше скучных устойчивых. Это и есть признак взросления области — та же история произошла в генетике, когда исследования «гена-кандидата» на сотне человек сменились полногеномными работами на сотнях тысяч.
Читателю, который хочет разбираться в биологической стороне без опоры на заголовки, подойдёт книга серии «СДВГ и принятие решений» — про то, как взвешивать данные, когда каждая сторона ссылается на исследования.
Коротко: главное
- Медианный размер выборки нейровизуализационного исследования — около двадцати пяти человек.
- Связи между устройством мозга и поведением оказались меньше, чем предполагалось.
- Воспроизводимость улучшается, а завышение эффектов падает при выборках в тысячи человек.
- В маленькой выборке значимость достигается только при крупном значении, и публикуется именно оно.
- Мега-анализ на 1713 участниках с СДВГ и 1529 контролях нашёл устойчивые, но очень малые различия.
- Размеры этих различий — от 0,10 до 0,19 по стандартной мере: распределения почти полностью перекрываются.
- У взрослых различия оказались незначимыми, а приём психостимуляторов на результаты не влиял.
- Диагностика СДВГ по снимку невозможна арифметически, а не из-за нехватки оборудования.
- Область отвечает на кризис консорциумами, предварительной регистрацией и согласованием протоколов.
Частые вопросы
Почему исследования мозга при СДВГ противоречат друг другу?
Главная причина — размер выборки. При медианных двадцати пяти участниках результаты сильно разбросаны, порог значимости достигается только при крупном значении, и в печать попадают случайно завышенные эффекты.
Сколько участников нужно, чтобы результату можно было верить?
Тысячи. Работа 2022 года на трёх крупнейших наборах данных — суммарно около пятидесяти тысяч человек — показала, что воспроизводимость связей «мозг — поведение» появляется именно на таком масштабе.
Различия в мозге при СДВГ вообще есть?
Есть, но на уровне групп и очень малые. Мега-анализ 23 центров нашёл меньшие объёмы миндалины, прилежащего ядра, скорлупы, хвостатого ядра и гиппокампа при размерах эффекта от 0,10 до 0,19.
Что означает размер эффекта 0,15?
Что распределения почти полностью перекрываются. Для сравнения, различие в росте между мужчинами и женщинами по той же шкале составляет около двух. По снимку отдельного человека такое различие не увидеть.
Можно ли поставить диагноз по МРТ?
Нет. При таких размерах различий диагностика по снимку невозможна арифметически, а не из-за качества техники. Диагноз остаётся клиническим — это фиксирует и международный консенсус.
Влияют ли лекарства на найденные различия?
В мега-анализе — нет: приём психостимуляторов на результаты не влиял, как и наличие сопутствующих расстройств. Это опровергает более раннее предположение, что различия объясняются лечением.
Почему у взрослых различий не нашли?
В том же анализе различия по объёмам у взрослых были незначимыми, а размеры эффекта у детей выше, чем у взрослых. Авторы интерпретируют это как задержку созревания, а не как исчезновение состояния.
Как проверить новость про мозг самому?
Пятью вопросами: сколько участников, была ли группа сравнения, повторяли ли результат, какого размера эффект и что именно утверждается — «связано с» не означает «вызывает» и тем более «позволяет диагностировать».
Значит ли всё это, что нейробиологии СДВГ не существует?
Нет. Устойчиво воспроизводятся групповые различия на больших выборках, высокая наследуемость и связь с генами раннего развития мозга. Не воспроизводятся конкретные «маркеры» из работ на десятках участников.
Что меняется в самой области?
Растут выборки за счёт международных консорциумов, вводится предварительная регистрация плана анализа, согласуются протоколы обработки снимков, а журналы требуют указывать размеры эффекта и доверительные интервалы.
Источники
- Marek S et al. Reproducible brain-wide association studies require thousands of individuals. Nature, 2022;603(7902):654-660 — медианная выборка и требование тысяч участников для воспроизводимости
- Button KS et al. Power failure: why small sample size undermines the reliability of neuroscience. Nat Rev Neurosci, 2013;14(5):365-76 — низкая статистическая мощность в нейронауке и надёжность результатов
- Hoogman M et al. Subcortical brain volume differences in participants with attention deficit hyperactivity disorder in children and adults: a cross-sectional mega-analysis. Lancet Psychiatry, 2017 — мега-анализ ENIGMA: размеры эффекта по подкорковым структурам
- Faraone SV et al. The World Federation of ADHD International Consensus Statement: 208 Evidence-based conclusions about the disorder. Neurosci Biobehav Rev, 2021;128:789-818 — консенсус: диагноз клинический
Материал носит справочный характер и не заменяет консультацию врача. Решения о диагностике и лечении принимаются очно и индивидуально.
