Как бы ни хотелось, мы не можем прочитать всё, что когда-либо написано по нашей теме. Поэтому обзор литературы требует чёткой стратегии. В этом разделе мы разберём, как её выстроить: от постановки цели и выбора рамок до определения типов источников и критериев их отбора.

Прежде чем открывать Google Scholar или искать книги, важно ответить на простой вопрос: зачем я делаю обзор литературы?

Обзор может решать разные задачи:

1. Уточнить исследовательский вопрос. Часто тема звучит слишком широко. Например: «Новые методы обучения». Прочитав несколько работ, вы можете заметить, что особенно много пишут про геймификацию или гибридные форматы обучения, и сузить свой вопрос именно к этим областям.
2. Подготовиться к практическому этапу. Если вы планируете собственный опрос или эксперимент, обзор литературы помогает понять, как это делали другие.Например, перед тем, как опросить студентов о сне и успеваемости, вы находите исследования, где уже измеряли продолжительность сна. Это подскажет, как лучше формулировать вопросы анкеты и какие показатели учитывать.
3. Найти «пробелы» в знаниях. Иногда по вашей теме уже много публикаций, но все они рассматривают один и тот же аспект, а другие остаются в тени. Например: есть десятки работ про мотивацию школьников, но почти нет исследований о том, как мотивация меняется у студентов колледжей. Это и есть «дыра», в которую можно внести свой вклад.

Кроме того, стоит заранее подумать, какой результат вы хотите получить на выходе. В академической работе с литературой выделяют различные уровни глубины, с которыми исследователь взаимодействует с источниками, и типы текстов для этих задач, а именно:


1.Аннотированная библиография. На этом уровне проводится «минимальная обработка» литературы. Аннотированная библиография (annotated bibliography) состоит из списка источников, к каждому из которых даётся краткая аннотация: сведения о содержании, краткое описание сути, иногда — личная реакция или оценка значения для темы исследования. Каждая аннотация пишется отдельным абзацем. Такие списки организуются обычно по алфавиту и служат базой для более глубокого анализа.

• Функция: фиксация источников, первичное понимание контекста исследований.
• Структура: источник — затем краткая аннотация (обычно 3–6 строк).
• Экспертная аналитика не требуется.

2.Следующий уровень — собственно обзор литературы (literature review). Здесь исследователь уже не просто фиксирует источники, а начинает их сопоставлять. Это критическое пересмысление: выявляются соглашения и разногласия между авторами, общие тренды, методологические подходы, пробелы в исследованиях. Абзацы строятся не по принципу «один источник — один абзац», а так, что в одном абзаце могут обсуждаться идеи из нескольких трудов, подчинённых единой логике сравнения или темы.

• Функция: связать источники, обобщить и структурировать существующую научную дискуссию.
• Структура: текст строится по темам, проблемам или методам, а не по авторам.
• Аналитика: сравнение, выделение тенденций, синтез выводов.

3. Максимально глубокий уровень — формирование теоретической рамки или концептуальной модели (theoretical framework/model). Исследователь переходит от анализа других работ к формированию собственной интерпретации, объяснения или модели изучаемого явления. Такой уровень требует не только синтеза, но и собственной теоретической работы, аргументации и систематизации знаний для выдвижения авторской позиции.

• Функция: конструировать оригинальную научную концепцию или авторскую модель на основании глубокого анализа литературы.
• Структура: обзор литературы используется как платформа для объяснения и обоснования своей модели.
• Аналитика: критический анализ, интеграция концепций, решение исследовательских проблем.

Чтобы собрать и организовать длинный список литературы по теме, не ставя целью «прочитать всё», используют пошаговый и критериальный подход, часто применяя концептуальные карты и стратегии ранжирования источников. Вот практические рекомендации:

• Составляем  концептуальную карту (concept map): визуально отображаем ключевые аспекты вопроса и их взаимосвязи, что помогает сузить тему и уточнить ключевые понятия для поиска литературы.
• Начинают с мозгового штурма — выписывают все, что может иметь отношение к вашему вопросу, группируют понятия по темам.
• Концептуальная карта подсказывает ключевые слова и уточняет — какие темы, аспекты, смежные вопросы включать, а какие оставить за пределами обзора.

-> Tools for concept mapping -[сделать ссылку]

При поиске литературы для обзора существуют три основные стратегии охвата, которые определяют, насколько широким или сфокусированным будет ваш поиск:

1. Исчерпывающий охват (Exhaustive coverage) предполагает стремление к максимальной полноте, включая все релевантные опубликованные и неопубликованные исследования для обеспечения всеобъемлющей базы знаний.
2. Репрезентативный охват (Representative coverage) заключается в поиске материалов, которые являются типичными или репрезентативными для большинства работ в данной области, часто сфокусированном на небольшом числе ведущих журналов.
3. Центральный или ключевой охват (Central or pivotal coverage) концентрируется на более ранних работах, которые были центральными или основополагающими для конкретной темы, например, исследованиях, инициировавших новое направление или изменивших постановку проблем.

После первоначального поиска необходимо отсеять потенциальные исследования, чтобы определить их релевантность.

Сформулируйте явные критерии (и запишите их):

• Population/Context: кто/где?
• Intervention/Phenomenon/Exposure: что изучается?
• Design/Method: допустимые дизайны (RCT, квази-эксперимент, кросс-секционный, качественные и т.д.).
• Outcomes: какие исходы/метрики обязательны.
• Timeframe/Languages: годы, языки.
• Source type: peer-review в приоритете; «серую» — по оговорённым правилам.

Если делаете строгий обзор: задействуйте двух независимых рецензентов и процедуру разрешения разногласий [Pare & Kitsiou 9.2–9.3].

Помимо отбора, может потребоваться оценка научного качества выбранных исследований, то есть строгости их дизайна и методов.

Что делать:

• Формально оцените надежность исследовательского дизайна и методов каждого исследования.
• Цель — понять, насколько хорошо исследование устраняет потенциальные предубеждения и максимизирует достоверность, что может помочь в уточнении выборки или интерпретации выводов.

Критический анализ и оценка доказательств

Процесс критического чтения и анализа является ключевым для оценки качества. Читатель, стремящийся критически оценить научный текст, должен задать ряд вопросов:

1. Каков центральный аргумент или основная идея автора, то есть что автор хочет, чтобы читатель принял? [Diana Ridley, 40].
2. Какие выводы делает автор? [Diana Ridley, 41].
3. Какие доказательства предлагает автор в поддержку своих аргументов и выводов? [Diana Ridley, 41].
4. Являются ли эти доказательства достаточно сильными, то есть релевантны ли они и достаточно ли обширны? [Diana Ridley, 41, 64].
5. Надежны ли цитируемые авторитеты? [Diana Ridley, 64].
6. Соответствуют ли данные и их интерпретация аргументам? [Diana Ridley, 64].

Для оценки того, можно ли доверять источнику, исследователю необходимо опираться на ряд фундаментальных критериев, включая Достоверность (Credibility), Точность (Accuracy), Актуальность (Relevance), Объективность (Objectivity) и Цель (Purpose) [Source: Criteria for Evaluating Sources in Research - CIBNP]. Одним из важнейших признаков академического качества является прохождение источником экспертной оценки (peer review) [Diana Ridley, 32]. Наличие ошибок в грамматике, пунктуации или орфографии может служить индикатором того, что источник не был рецензирован (not been peer reviewed) и, следовательно, не является надежным (reputable source) для использования в исследовании [Diana Ridley, 32]. Доверие к источнику возрастает, если он представляет сильные доказательства и сбалансированный аргумент [Diana Ridley, 32].

На уровне методологической строгости (rigour) качество обзора литературы (который сам является формой научного исследования [Paré et al., 2015]) оценивается через надежность (reliability) и обоснованность (validity) [Paré & Kitsiou, 8]. Надежность связана с воспроизводимостью процесса (reproducibility of the review process) и требует всестороннего документирования поиска литературы, извлечения, кодирования и анализа данных [Paré & Kitsiou, 8]. Обоснованность характеризует степень, в которой процесс обзора был проведен надлежащим образом, отражая решения, связанные с выбором источников, использованием поисковых терминов, охватываемым периодом и применением методов прямого и обратного поиска [vom Brocke et al., 2009, 8]. Таким образом, строгость любого обзорного текста отражается в явности его методов (explicitness of its methods), то есть прозрачности, и обоснованности используемого подхода (soundness of the approach used) [Paré & Kitsiou, 8].

Для систематической оценки исследования важно начинать с рассмотрения актуальности исследовательского вопроса (relevance of the research question) [Almutairi et al., 688]. Актуальные вопросы должны быть достаточно специфичными, выполнимыми и достаточно сложными (complex enough) для того, чтобы оправдать детальный ответ [Almutairi et al., 688]. Критический анализ должен включать оценку сильных и слабых сторон литературы, выявлять недостатки, упущения, неточности, противоречивые точки зрения и несоответствия [Torraco, 726]. Например, в случае качественного исследования, рецензенты должны убедиться, что выводы, сделанные исследованием, основаны на собранных данных (conclusions drawn by the research are based on the data collected) [Joanna Briggs Institute, 104].

Ключевые инструменты и их значение для оценки научной работы

Чтобы обеспечить точность выводов и решений, исследователи (особенно в области здравоохранения) используют строгие методологические инструменты для градации качества доказательств и критической оценки литературы. Ниже представлены ключевые инструменты и их значение для оценки научной работы.

1. GRADE: Оценка качества доказательств и силы рекомендаций
Основным инструментом для градации качества доказательств, особенно в контексте принятия решений в здравоохранении (healthcare decision-making), является система GRADE (Grading of Recommendations Assessment, Development and Evaluation) [MeSH terms, cited in the source; Brasil. Ministério da Saúde, 2014, cited in the source].

Суть и применение:

• Назначение: GRADE используется для оценки силы и качества доказательств в отчетах по синтезу (synthesis reports) [Brasil. Ministério da Saúde, 2014, cited in the source]. Этот инструмент имеет высокую ценность для оценки материалов, используемых при принятии решений в области здравоохранения [Brasil. Ministério da Saúde, 2014, cited in the source].
• Происхождение: Методические рекомендации по Системе GRADE были опубликованы Министерством здравоохранения Бразилии (Brasil. Ministério da Saúde) [Brasil. Ministério da Saúde, 2014, cited in the source].
• Сложности: Использование GRADE может быть сложным для тех, кто не имеет опыта в проведении систематических обзоров или критической оценке литературы [Paré & Kitsiou, 2017, Глава 9].

2. PRISMA: Стандарт для обзоров и мета-анализов
В то время как GRADE оценивает результаты исследований, PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) является важнейшим руководством по отчетности для систематических обзоров и мета-анализов, особенно тех, которые оценивают вмешательства в здравоохранении [Liberati et al., 2009, cited in Paré & Kitsiou, 2017].

Ключевые аспекты и авторы:

• Назначение: PRISMA обеспечивает структурированный и прозрачный подход к документированию всего процесса обзора, от поиска до синтеза [Liberati et al., 2009, cited in Paré & Kitsiou, 2017].
• Эволюция терминологии: В обновлении PRISMA 2020 произошел сдвиг в терминологии: теперь рекомендуется оценивать не "качество" (quality), а "определенность" или "уверенность" (certainty/confidence) в совокупности доказательств (body of evidence) для исхода [Liberati et al., 2009, cited in Paré & Kitsiou, 2017].
• Требования к прозрачности: PRISMA 2020 требует, чтобы авторы сообщали о методах и результатах оценки определенности (certainty) доказательств. Также подчеркивается необходимость предоставления полных стратегий поиска для всех просмотренных баз данных и регистров.

3. Инструменты для оценки методологического качества (AMSTAR и ROBIS)
Для оценки надежности и отсутствия систематических ошибок (смещения) в литературе применяются специализированные инструменты:

• AMSTAR (A Measurement Tool to Assess the Methodological Quality of Systematic Reviews): Это надежный и валидный инструмент для оценки методологического качества систематических обзоров [Shea et al., 2009, cited in Paré & Kitsiou, 2017]. Он позволяет рецензентам понять, насколько строго были проведены шаги обзора.
• ROBIS (Risk Of Bias In System-atic Reviews): Этот инструмент, дополняющий чек-лист GRADE, используется для оценки риска смещения (Risk of Bias), присутствующего в систематических обзорах [Paré & Kitsiou, 2017, Глава 9].

Критическая оценка работы

Критическая оценка включает проверку нескольких ключевых аспектов представленной работы [Almutairi et al., 2024, 677]:

• Релевантность: Соответствует ли вопрос исследования вашей области и добавляет ли работа новые доказательства [Torraco, 2016, 710].
• Объективность и баланс: В таких формах, как нарративные обзоры (Narrative Reviews), авторы могут избирательно игнорировать определенные исследования, чтобы подчеркнуть свою точку зрения, что может привести к предвзятым интерпретациям [Paré & Kitsiou, 2017, Глава 9.3.1; Green et al., 2006, 7].
• Прозрачность и строгость методов: Методология должна быть описана прозрачно и явно (explicit) [Paré & Kitsiou, 2017, Глава 9], поскольку эксплицитность методов является ключевым показателем строгости [Paré & Kitsiou, 2017, Глава 9].
• Соответствие выводов данным: Выводы, сделанные исследователями, должны быть основаны на собранных данных [Thomas & Harden, 2008, 69; Makar et al., 2018, 681]. Например, в качественных исследованиях выводы должны быть основаны на тексте, полученном в результате интервью или наблюдения [Thomas & Harden, 2008, 69].
• Конфликт интересов и предвзятость: Важно оценить потенциальную предвзятость (bias) и конфликты интересов среди включенных исследований [Boutron et al., 2022, Глава 7]. Для оценки качества и силы доказательств в синтетических отчетах (synthesis reports), например, используется инструмент GRADE (Grading of Recommendations Assessment, Development and Evaluation) [Anonymous, 2022, 1]. Также в оценке систематических обзоров используется инструмент ROBIS (Risk Of Bias In Systematic Reviews), который может быть включен в контрольный список GRADE [Anonymous, 2022, 1].
• Качество изложения и ссылок: Наличие ошибок в грамматике, пунктуации или орфографии может быть признаком того, что источник не прошел рецензирование или проверку, и, следовательно, не является авторитетным [Young & Solomon, 2009, 22].

На этом этапе вы собираете необходимую информацию из каждого исследования, включенного в вашу выборку.

Что делать:

• Определите, какая информация релевантна для ваших исследовательских вопросов.
• Извлекайте данные о том, как, когда, где и кем было проведено исследование, его дизайн и методы, а также качественные/количественные результаты.
• Используйте стандартизированные методы извлечения данных для обеспечения согласованности и минимизации ошибок.

Совет: на этом этапе важно сохранить информацию, которая поможет вам приоритизировать дальнейшее чтение. Например, далее из длинного списка можно создать три корзины для чтения: Must Read / Useful / Background. Следующая информация может помочь вам приоритизировать список в дальнейшем:

• Ключевой статус: каноническая или высоко цитируемая работа? (ядро поля)
• Свежесть: последние 3–5 лет для «среза текущей дискуссии».
• Методический вес: RCT / систематический обзор / метаанализ, большие выборки, прозрачный дизайн.
• Близость к вашему вопросу: напрямую отвечает? Даёт нужный исход/метрику?
• Дисциплинарный баланс: разные школы и методы, чтобы избежать «туннельного зрения».
• Качество источника: peer-review и/или сильный институт; серую литературу — с маркировкой и оговорками.

Это и есть "интегративный уровень", когда мы конструируем теорию и создаем новое знание из обзора литературы. Различные типы обзоров предназначены для разных задач и имеют свои сильные стороны и ограничения. Прежде чем приступить к обзору литературы, важно определить, какую цель вы преследуете и на какие вопросы хотите ответить.

1. Нарративный (традиционный) обзор: Выбирайте этот тип, когда область исследования гетерогенна (разнообразна), и вам необходимо качественно интерпретировать существующие знания, чтобы суммировать написанное, предоставить всесторонний фон для понимания темы, выделить значение новых исследований или выявить пробелы и несоответствия в литературе, которые могут вдохновить на новые исследовательские идеи. Это "традиционный" способ, который стремится собрать и синтезировать большой объем литературы, но может быть несистематичным. Для повышения строгости можно использовать рамки Леви и Эллиса (2006) и рекомендации vom Brocke et al. (2009).

2. Описательный или картографический (Descriptive or Mapping) обзор: Используйте этот обзор, когда ваша основная цель — определить, выявляет ли массив знаний по конкретной теме интерпретируемые закономерности или тенденции в отношении положений, теорий, методологий или результатов. В науках о здоровье это часто называют картографическими обзорами, фокусирующимися на изучении диапазона, характера и эволюции предметной области. В отличие от нарративных, эти обзоры следуют систематической и прозрачной процедуре, используя структурированные методы поиска и частотный анализ характеристик исследований для получения количественных результатов.

3. Обзор объема (Scoping Review): Этот тип подходит, когда вы хотите получить первоначальное представление о потенциальном размере и характере существующей литературы по новой или развивающейся теме. Он также полезен для определения целесообразности полноценного систематического обзора или для выявления пробелов в исследованиях. Цель здесь — быть максимально исчерпывающими, включая «серую литературу» (неопубликованные материалы). Рекомендуется использование как минимум двух независимых кодировщиков для отбора статей, а результатом часто становится подробная исследовательская программа для будущих работ.

4. Систематический обзор (Systematic Review): Выбирайте систематический обзор, когда вам нужно агрегировать, оценивать и синтезировать все эмпирические данные, соответствующие заранее определенным критериям, чтобы ответить на четко сформулированный и часто узкий исследовательский вопрос. Это идеальный подход для поддержки практики, основанной на фактических данных, так как он строго придерживается явных научных принципов и методологических рекомендаций для снижения ошибок и предвзятости. Основные процедуры включают разработку протокола обзора, двойной отбор исследований, оценку риска смещения двумя независимыми рецензентами и представление результатов в сводных таблицах.

5. Метаанализ (Meta-analysis): Применяется, когда дизайны и метрики включенных исследований сопоставимы, и вы хотите статистически объединить результаты независимых исследований в единую количественную оценку или сводный размер эффекта. Метаанализы часто являются частью систематических обзоров и используют статистические методы для создания более точных и надежных оценок эффектов вмешательства, чем те, которые получены из отдельных исследований.

6. Качественные систематические синтезы (Qualitative Systematic Reviews): Этот тип обзора используется, когда метаанализ невозможен или нецелесообразен из-за обширной клинической гетерогенности (различий) между включенными исследованиями или вариаций в измерительных инструментах. В таких случаях систематические обзоры применяют качественные методы синтеза, такие как подсчет голосов, контент-анализ, схемы классификации и табуляции, для нарративного синтеза результатов независимых исследований.

7. Зонтичный обзор (Umbrella Review / Overview of Systematic Reviews): Этот третичный тип синтеза доказательств выбирается, если уже существует несколько систематических обзоров и метаанализов по вашей теме, и вам необходимо сравнить и сопоставить их выводы. Это особенно полезно, когда систематические обзоры имеют противоречивые результаты и создают путаницу. Единицей анализа в зонтичных обзорах является систематический обзор, а не первичное исследование, и они обычно фокусируются на более широких исследовательских темах.

8. Реалистический обзор (Realist Review): Используйте этот обзор, если ваш ключевой вопрос не просто "что работает?", а "что именно в этом вмешательстве работает, для кого, при каких обстоятельствах, в каких аспектах и почему?". Этот тип разработан для осмысления гетерогенных данных о сложных вмешательствах в различных контекстах. Это теоретически обоснованные интерпретационные обзоры, которые стремятся раскрыть механизм того, как «сложные вмешательства» работают, начиная с формулирования вероятных механизмов и проверяя их на основе доступных доказательств.

9. Критический обзор (Critical Review): Целью критического обзора является критическая оценка и интерпретационный анализ существующей литературы по конкретной теме, чтобы выявить сильные и слабые стороны, противоречия, споры, несоответствия и/или другие важные вопросы в отношении теорий, гипотез, методов исследования или результатов. Эти обзоры стремятся дать рефлексивный отчет о проведенных исследованиях и оценить их достоверность с использованием инструментов оценки или критических интерпретационных методов, конструктивно информируя о недостатках и указывая направления для дальнейшего улучшения.

Импакт-фактор и индексы цитирования

Импакт-фактор — это основной количественный показатель престижности научного журнала, который рассчитывается как среднее количество цитирований статей, опубликованных в журнале за последние два года. Журналы с высоким импакт-фактором считаются более авторитетными, поскольку их статьи чаще цитируются другими исследователями.

Индекс Хирша (h-index) измеряется как количество публикаций автора, которые были процитированы не менее h раз. Например, h-индекс 10 означает, что у автора есть 10 публикаций, каждая из которых цитировалась не менее 10 раз.

Альтметрики (Altmetrics) — современные альтернативные метрики, которые учитывают упоминания в социальных сетях, новостных сводках, блогах и политических документах. Они позволяют оценить более широкое влияние исследований за пределами академических кругов.

Базы данных и платформы для проверки

Web of Science и Scopus — ведущие международные базы данных, которые индексируют качественные научные журналы и предоставляют метрики цитирования.

Directory of Open Access Journals (DOAJ) — надежный каталог легитимных журналов открытого доступа, прошедших проверку качества.

Google Scholar предоставляет доступ к широкому спектру научных публикаций, но не устанавливает строгих стандартов качества, поэтому требует дополнительной проверки.

Система рецензирования и этические стандарты. Процесс пиринга (Peer Review)

Peer review — это процесс, при котором научные публикации оцениваются экспертами в той же области перед принятием к публикации. Качественное рецензирование обеспечивает:

• Проверку научной обоснованности методологии
• Оценку релевантности и новизны исследования
• Выявление возможных ошибок или предвзятости

Открытое рецензирование делает процесс более прозрачным, публикуя имена рецензентов и их комментарии.

Этические принципы публикации

Комитет по этике публикаций (COPE) разработал руководящие принципы, которые включают:

• Обеспечение научной честности и предотвращение плагиата
• Четкое указание авторства и вклада каждого соавтора
• Раскрытие конфликтов интересов
• Соблюдение конфиденциальности в процессе рецензирования

ORCID (Open Researcher and Contributor ID) — уникальный идентификатор исследователя, который помогает избежать путаницы с авторством и обеспечивает прослеживаемость научных работ.

Как распознать хищнические журналы. Основные признаки predatory journals

Хищнические журналы эксплуатируют авторов, взимая плату за публикацию без обеспечения качественного рецензирования.

Основные предупреждающие знаки:

• Агрессивная реклама: Массовые незапрошенные email-рассылки с предложениями опубликоваться или войти в редколлегию.
• Скрытые платежи: Информация о стоимости публикации скрывается до момента принятия статьи.
• Сверхбыстрая публикация: Обещания опубликовать статью за несколько дней или недель без адекватного рецензирования.
• Некачественный сайт: Грамматические ошибки, неполная контактная информация, отсутствие четкой информации о процессе рецензирования.
• Подозрительные редколлегии: Небольшое количество редакторов или люди, указанные без их согласия.

Инструменты для проверки легитимности журналов

Think. Check. Submit - полезный ресурс для оценки качества источников

Чек-лист для оценки журналов от PennState.

Cabell's Predatory Reports — платформа, предоставляющая списки хищнических издателей (нужен доступ через институцию).