Как понять, что метаанализ качественный: руководство для мыслящих по науке специалистов

Авторы: Людмила Главинская
Время чтения - 10 минут
Август 2025

Мета‑анализ — важный и полезный инструмент в доказательной медицине, педагогике, психологии и других дисциплинах. Он обобщает данные десятков исследований на основе заданных критериев и статистического анализа. Мета-анализы и их спутники - систематические обзоры - часто используются специалистами, чтобы быстро «въехать» в тему, с которой они слабо знакомы, чтобы с чего-то начать разбираться.

Но не всякому мета-анализу можно доверять безоговорочно и слепо. Важно уметь анализировать качество мета-анализов, чтобы понимать, выводам каких из них можно доверять и брать  в свою работу.

Самое первое, на что мы обращаем внимание, когда приступаем к чтению статьи, это авторы мета-анализа. Сколько человек могут провести такую титаническую работу - найти все исследования по теме за несколько, а то и десятки лет, отсортировать и отобрать только качественные, «вытащить» из каждой значимые цифры, собрать в единую базу, статистически обсчитать? Скорее всего, если это качественная работа, то она будет командной. Так что самый первый критерий оценки мета-анализа: количество авторов. Если систематический обзор написан одним человеком, это значительно повышает риск предвзятости. Для обеспечения полноты и объективности анализа необходимо участие как минимум двух исследователей, учитывающих разные точки зрения и опыт.

Любой мета‑анализ начинается с чёткой исследовательской гипотезы. Честные авторы следуют стандартам PRISMA — указывают источники (например, PubMed, Scopus, Web of science), методологию поиска и критерии включения исследований в обзор и исключения статей из обзора. Красный флажок, если в статье нет этого: обзор, возможно, неполный или субъективный.

Критерии включения и исключения статей должны быть четко прописаны. В хороших обзорах информацию извлекают минимум два человека, а стратегия разрешения разногласий между ними должна быть описана в самой статье. Использование стандартизированных форм для извлечения данных и «слепой» оценки, когда авторы независимо друг от друга каждый на своем компьютере выискивают статьи для мета-анализа, а потом делятся находками, помогает минимизировать предвзятость.

Также как научные исследования могут оказаться предвзятыми - то есть некачественными, нечестными, потому что авторы тяготеют к какой-то точке зрения или защищают определенную парадигму, так и с мета-анализами случаются предвзятости. Существуют шкалы для оценки риска предвзятости, например RoB‑2 для рандомизированных контролируемых исследований или ROBINS‑I для обсервационных (наблюдательных) исследований. Помните, что качественный мета‑анализ прямо зависит от исходных данных тех статей, которые будут в него включены. Если большинство включённых работ низкого качества или статьи, включенные в мета-анализ подбираются по заведомо предвзятым критериям — выводы мета-анализа нельзя считать надёжными. Принцип «Мусор на входе, мусор на выходе» или «Garbage In, Garbage Out» как раз про качество данных: если исходные исследования низкого качества, то даже самый тщательный систематический обзор не сможет дать достоверных результатов. Качество выводов мета-анализа напрямую зависит от качества включенных в него статей.

Для быстрой визуальной оценки мета‑анализов существует специальный график, который называется Forest plot. «Читать» такой график необходимо, обращая внимание на следующие его компоненты:

1. Перечень всех исследований, включённых в мета-анализ, расположен обычно в колонке слева.
2. Каждое исследование показано в виде квадрата, при этом размер квадрата отражает вес исследования в мета-анализе: чем больше квадрат — тем больше его вклад.
3. Горизонтальные линии или «усы» — это 95 % доверительный интервал, поэтому чем они размашистее, тем с меньшей охотой мы доверяем включенному исследованию.

• Узкая линия — высокая точность.
• Широкая линия — низкая точность. Если линия пересекает вертикальную ось,  линию нулевого эффекта, то данное исследование не показывает эффекта, то есть в исследовании нет разницы между экспериментальной и контрольной группой — результат не является статистически значимым.

4.Линия нулевого эффекта (вертикальная линия) в идеале не пересекается включенными в анализ исследованиями в виде квадратиков с горизонтальными «усами». Эффект может располагаться ли на уровне 1, или на уровне 0, в зависимости от того, как высчитывается эффект - высчитыванием разницы или отношения.

5.Общий эффект — это ромб внизу графика, который показывает итог по всем исследованиям  и он не должен пересекать «нулевой эффект», то есть вертикальную ось, как в примере ниже (на рисунке ромб как раз пересекает линию нулевого эффекта, что для нас в практическом смысле сигнальная лампочка: будет рискованно доверять выводам такого мета-анализа). Ширина ромба — это доверительный интервал этого объединённого результата.

Пример пересечения ромбом линии нулевого эффекта

Часто статьи с отрицательными результатами, то есть, где гипотеза не подтвердилась, нет эффекта, нет различий между экспериментальной и контрольной группой, не публикуют — тогда мета‑анализ может оказаться искажённым. Для оценки возможной предвзятости во включенных в мета-анализ исследований проводят специальные проверки, в том числе строят воронкообразный график - funnel plot. Если «елочка» на таком графике выглядит однобокой с точечками только слева, то вероятна публикационная предвзятость — то есть исследования с негативными результатами не были опубликованы (или не были включены в мета-анализ целенаправленно, или просто пропущены при поиске или отсеве данных). Проверьте:

• Funnel plot — асимметрия может означать предвзятость или ошибку малого исследования,
• Статистические тесты, например тест Эггера или «trim and fill» метод

Если авторы не включили такой анализ — это красный флажок для нас, как читателей.

Еще один важный критерий в мета-анализах — это гетерогенность исследований, включенных в этот мета-анализ. О чем вообще исследования, которые включены в мета-анализ — об одном и том же? Или одно про мокрое, а другое — про холодное?

Гетерогенность или I² — важный показатель «хорошести» мета-анализа: наш анализ про одно и то же или каждое исследование меряет что-то свое?

Гетерогенность, или разнородность, исследований — это серьезная проблема для мета-анализов. Если исследования сильно различаются по дизайну, методологии или единицам измерения, их объединение и сравнение становится крайне сложным. Например, сравнивать психологические исследования с данными от опросников с исследованиями нейробиологии, где применялся метод МРТ, крайне проблематично, хотя оба исследования проводились на детях (субъект) и касаются влияния стресса (тема). Это может привести к искажению результатов и затруднить интерпретацию статистических данных. Обратите внимание на показатель гетерогенности I² (и квадрат) — насколько различаются результаты между исследованиями:

• I² < 50 % — низкая гетерогенность, выводы мета-анализа более устойчивы, мы можем на это полагаться,
• I² > 50 % — данные разнородны, и это создает дополнительные сомнения в том, готовы ли мы доверять выводам этого мета-анализа.

Пример «образцового» графика гетерогенности в клиническом мета-анализе

Маленькие мета‑анализы, то есть с маленьким количеством рассматриваемых в них исследований, часто переоценивают I², поэтому смотрите ещё на доверительные интервалы для I² и способы коррекции.

Существуют две основные модели мета-анализа: модель фиксированных и модель случайных эффектов. Модель фиксированных эффектов подходит для исследований с очень низкой гетерогенностью. При высокой гетерогенности необходимо использовать модель случайных эффектов, хотя она и дает менее точную оценку эффекта. Неправильный выбор модели может привести к ошибочным выводам.

А еще важно понимать как изменятся выводы, если выкинуть из анализа одно исследование или группу с высоким риском (например, с маленьким количеством испытуемых в выборке). Для этого мы проводим анализ чувствительности.

Правильные обзоры проводят:

• Sensitivity analysis (Анализ чувствительности) — показывает что меняется в выводах, если убрать одно исследование или группу с высоким риском,
• Subgroup analysis (Субгрупповой анализ) — сравнение подгрупп: разные методологии, возраст, страны сравниваются между собой. Важно, что подгрупповой анализ должен быть запланирован в протоколе мета-исследования заранее, иначе он менее надёжен, то есть никакого «А может мы сравним теперь азиатов и американцев» быть не может, все сравнения должны быть обговорены заранее. Если этого не было, то авторы должны написать о своей гипотезе, возникшей в процессе мета-анализа как post hoc.

Научный мета‑анализ — мощный инструмент, но требует вдумчивого прочтения, не за пять минут. Даже обзоры в знаменитых, высокорейтинговых научных журналах могут скрывать методологические слабости или предвзятости. Читайте мета-анализы вдумчиво, скептически, внимательно и держа в голове перечень красных флагов некачественного мета-анализа: несколько ли авторов писали анализ, по каким базам искали литературу, проверяли ли качество исследований и показали ли критерии отбора статей для своего исследования, есть ли наглядное изображение их поиска в виде графика включенных исследований, как выглядит этот график, нет ли там длинных «усов» и не пересекают ли они «ось нулевого эффекта», какую модель анализа выбрали авторы. Выводы обзора должны содержать информацию о количестве включенных исследований, общем объеме выборки, рисках предвзятости и гетерогенности. Авторы четко описывают ограничения своего исследования, а также декларируют нет ли у них финансового интереса или конфликтов интересов. Только благодаря качественным мета-анализам их выводы станут действительно полезными в вашей практике.

Цель нашей статьи в том, чтобы вы не принимали на веру любое крупное мета-исследование и взяли себе в привычку разбираться с информацией, а не доверять авторитетам. Даже если вы не разбираетесь в математике и статистике, все равно проверьте, какая статистическая модель (фиксированная или случайных эффектов) использована. Не только привычное p-value, но и размер эффекта (effect size) — Hedges' g, Cohen d, odds ratio — имеют значение. И с этими вещами нужно учиться разбираться.

Критическая оценка систематических обзоров и мета-анализов — это вырабатываемый за счет практики чтения и оценки навык для любого, кто работает с научной информацией. Несмотря на кажущуюся надежность взятых источников, их качество может сильно варьироваться, и без глубокого понимания методологии и потенциальных «красных флагов» легко сделать ошибочные выводы. Это требует постоянного обучения, внимания к деталям и готовности к самостоятельному анализу, даже если это кажется трудоемким поначалу.