Введение

Вопросы мультимодального анализа (и его разновидностей, например, мультимодального дискурс-анализа, критического мультимодального дискурс-анализа) относятся к актуальной ветви современных Media Studies, а также представляют интерес в области философии коммуникации в целом. Это обусловлено как постоянно увеличивающейся «медиапресыщенностью» современного информационно-коммуникационного пространства и в целом мира повседневности (см. недавний обзор теории медиапресыщенности: (Kopecka-Piech, 2019)), так и возникновением новых и техническим совершенствованием прежних форм коммуникационного обмена, основанных на гибридизации семиотических ресурсов и поставке информации, «упакованной» в самые различные форматы. Исторически мультимодальный анализ формировался в русле «визуального поворота» в основном как ответ на фасилитацию обмена изображениями в различных каналах интернет-коммуникации (и, следовательно, фактически полностью формировался как ответвление исследований сетевых форм взаимодействия пользователей). Зачастую «мультимодальность» понималась и толковалась как «текст + изображение», реже как совокупности других модусов или визуально-изобразительные аспекты самого текста (шрифт, организация текстовой информации и т. д.). Однако мультимодальный анализ также распространился и на межличностную коммуникацию во всем многообразии семиотических ресурсов, ее организующих: например, жестов, мимики, взглядов, действий, интонации и т. п. Как видим, эти два основных направления мультимодального анализа разнятся и по методам, и по эмпирическому материалу, и по целям. Однако для настоящего исследования было важно увидеть разные варианты применения самого понятия «мультимодальный анализ» в российских исследованиях. Целью статьи является анализ современного состояния мультимодального анализа в философской перспективе, то есть предполагается ответить на следующие исследовательские вопросы (ИВ1–4):

ИВ1. Какие определения мультимодальному анализу дают современные исследователи?

ИВ2. Каков репертуар применения мультимодального анализа?

ИВ3. Какие процедуры/алгоритмы предлагаются авторами работ?

ИВ4. Каковы интерпретационные границы полученных в ходе мультимодального анализа сведений с точки зрения философского подхода к коммуникации, направленного на выяснение ее онтологического и социетального статуса?

Первые три вопроса предполагают формализованные ответы (перечни конкретных фрагментов статей или описаний их содержания); четвертый исследовательский вопрос содержит формализованную и интерпретационную составляющие: с одной стороны, планируется обнаружить все варианты обобщений и извлечения смыслов из процедур мультимодального анализа, а с другой, дать качественную интерпретацию этих данных с целью установления дальнейших перспектив мультимодального анализа как инструмента постижения глубинных смыслов современной коммуникации – зеркала состояния и развития всего общества. При этом автор считает особенно значимым обнаружить перспективы развития метода, направленные на преодоление интерпретационной субъективности исследователя.

Теоретические и методологические основания исследования

В центре внимания в настоящей статье – современное состояние исследовательского поля в той его части, что связана с мультимодальным анализом. Таким образом, теоретическим и методологическим основанием исследования является SLR (systematic literature review <algorithm>), в свою очередь, тесно связанный с теориями многоступенчатости информационных потоков и общего уплотнения информационного пространства (см., например: (Щепилова, 2013)). Применительно к материалу настоящей статьи (научные публикации, посвященные мультимодальному анализу), исследование относится к типу так называемой «вторичной библиографии», то есть обзору и концептуализации различных научных подходов к мультимодальному анализу, обнаруженных в современном исследовательском научном пространстве.

Сам способ SLR как процедура получения объективированных данных из больших объемов информации хорошо известен в науке с момента ее превращения в социальный институт и складывания стандартов академического письма, одним из которых являлось требование знакомства с трудами предшественников и подробное объяснение своего понимания этих источников. Этот элемент сохраняется и в требованиях к сегодняшним научным работам («степень разработанности научной темы», «состояние научных исследований данной тематики» и т. п. разделы квалификационных работ, включая кандидатские и докторские диссертации). Однако многоступенчатость и нарастающая плотность информационных потоков создают условия невыполнимости задач исчерпывающего знакомства с исследованиями по какой-либо теме (даже довольно узкой) в силу как увеличения общего числа публикаций, так и открытости исследователю публикаций ученых других стран (такая открытость сохраняется благодаря онлайн-инструментам и в настоящее санкционное время). В силу этих факторов исследователь оказывается перед необходимостью использования определенных инструментов сбора информации и ее концептуализации. Именно эти обстоятельства и привели к разработке различных «гайдов» по SLR в западной науке и педагогике высшей школы. Обобщение таких инструментов применительно к началу массового использования интернет-коммуникаций выполнено в работе Барбары Китченхэм (Kitchenham, 2004); далее SLR исследовался множеством авторов с целью внесения уточнений при переходе к большим данным (когда материал анализа включал тысячи статей, а концептуализация проводилась на основе методов цифровой гуманитаристики, включая автоматический и полуавтоматический анализ текстового массива (см., например: (Snyder, 2019)). В то же время сутью SLR все равно оставалась «ручная» работа с выбранными статьями, требующая упорядоченного чтения статей с целью найти ответ на поставленные исследовательские вопросы (см., например, в одной из наиболее быстро уплотняющихся областей исследования – маркетинге – статьи по теоретическим и практическим аспектам SLR: (Palmatier, Houston and Hulland, 2018; Paul and Criado, 2020; Williams, Clark, Clark and Raffo, 2021) и другие примеры современной процедуры SLR).

В результате был осуществлен следующий алгоритм работы, отвечающий требованиям SLR.

1. Проведен полуавтоматический поиск электронной базы российской научной литературы в соответствии с целями исследования; окончательная выборка составлена на основе ручной работы с подборкой.
2. Отобранные статьи изучены с целью поиска ответа на вопросы 1–3 и формализованную часть вопроса 4.
3. Проведено обобщение полученных результатов с целью исчерпывающего ответа на вопрос 4.

Результаты исследования

В данном разделе результаты представлены в соответствии с выработанным алгоритмом.

1. Создание выборки статей для дальнейшего изучения. Выборка в рамках исследования, описанного в данной статье, проводилась по электронной библиотеке elibrary.ru (без обращения к англоязычному исследовательскому полю). Решение сохранить разделение на «отечественный» и «зарубежный» исследовательский подход связано с различиями научных систем и наличием национальной специфики в российских гуманитарных исследованиях в целом. Выбор именно этой базы данных обусловлен, во-первых, ее масштабностью (elibrary.ru – крупнейшая институционализированная электронная библиотека российского исследовательского поля). Библиотека обладает удобными инструментами поиска и систематизации найденной информации. Имеются многоступенчатые фильтры: по годам, тематике, аффилиациям, авторам и другие; встроены системы автоматического анализа создаваемых подборок.

Для исследования были выбраны пять лет, предшествующих моменту исследования: 2018–2022 гг. Ограниченность пятью последними годами вызвана интенсификацией научных исследований, что, с одной стороны, ведет к быстрому устареванию информации (вытесняемой более новыми исследованиями), а с другой – отличается закрепленной включенностью ставших известными в научном сегменте исследований и мнений в научный оборот. Таким образом, статьи 2018–2022 гг. с высокой степенью вероятности опираются на круг известных источников ученых-предшественников и включают в себя более ранние наработки по данной тематике. Выборка проводилась через расширенный поиск по ключевым словам «мультимодальный анализ». При этом первоначально была выбрана опция поиска этого словосочетания в заглавии, ключевых словах и/или аннотации, с указанием места поиска «статьи в журналах», «книги» и «диссертации». В результате была получена выборка в 681 статью. Выборочная ручная проверка полученных данных показала, что в большей части статей мультимодальный анализ не поставлен в центр внимания, упоминается лишь вскользь. Поэтому поиск был сокращен до статей, где выражение «мультимодальный анализ» встречается в заглавии. Таким образом была получена выборка, включающая 26 результатов, из числа которых были исключены все англоязычные статьи, а также статьи с «омонимичным» использованием ключевого выражения (прежде всего, это области медицины и логистики, где имеется выражение «мультимодальный анализ», не имеющее отношения к дискурсу; одна статья из тематического поля программирования). Окончательный состав выборки включал 16 русскоязычных статей, опубликованных с 2018 по 2022 год.

2. Данные вносились в таблицу в виде краткого пересказа и цитирования фрагментов статей в ячейки таблицы, соответствующие исследовательским вопросам (см. табл. 1).

Таблица 1

Сводный анализ выборки

Table 1

Summary of the data

3. Обобщение полученных данных и свободная часть ответа на исследовательский вопрос 4 представлены в следующем разделе статьи.

Дискуссия

В этой части статьи предлагается интерпретация полученных результатов в соответствии с вопросами, поставленными в начале исследования.

ИВ 1. Какие определения мультимодальному анализу дают современные исследователи?

Для удобства указания на разных авторов будут даны в виде номеров соответствующих строк в таблице. Как показывает таблица (табл. 1), только в четырех статьях выборки встретилось определение мультимодального анализа; в остальных случаях авторы ссылаются на авторитетные источники. В большинстве случаев косвенные определения (ссылки, прежде всего, на Гюнтера Кресса (6, 7, 9–12, 16), А.А. Кибрика (2, 5), других авторов (4, 7, 8, 11)) и включенные в текст статьи пояснения сути мультимодального анализа сводятся к констатации ряда элементов, составляющих феномены коммуникационного обмена и требующих равного внимания исследователя. Под множеством элементов понимаются, в первую очередь, комбинации вербального и невербального, а последнее понимается при этом преимущественно как визуальное (изображение). Иногда определение метода заменяется определением самого феномена мультимодальности (например, с отсылкой к Е.А. Кожемякину: семиотическая гетерогенность, симультативная многоканальность трансляции сообщения, коммуникативная комбинаторность: 4; см. другие варианты: 16). В двух случаях встретилось определение мультимодального дискурс-анализа как способа установления социальной дистанции/отношения/взаимодействия (9, 15).

В целом можно заключить, что определение мультимодального анализа в современной российской гуманитаристике сведено к представлению о необходимости учитывать в анализе коммуникационных феноменов разные каналы, модусы, элементы и способы подачи (упаковки) информации, не полагаясь исключительно на текстовую/вербальную информацию (это касается анализа как сетевой, так и межперсональной коммуникации). В отдельных случаях делается попытка в определении установить цель мультимодального анализа: что именно необходимо раскрыть/установить при обращении к этим разным элементам, одновременного воздействующим на реципиента.

ИВ 2. Каков репертуар применения мультимодального анализа?

По полученным данным (табл. 1), круг объектов исследования не ограничен; в выборке почти нет повторяющихся элементов. Их можно подразделить на две основные группы: (1) анализ межперсональной коммуникации (по А.А. Кибрику – с особым вниманием к жестам, мимике, интонации и т. п.): жесты переводчиков, рукопожатие политиков, общение педагога с учениками, уроки иностранного языка и (2) анализ медиафеноменов: телевидения, видеоигр, переводов эвфемизмов, цветных туристических буклетов, пропагандистского мультфильма, политической карикатуры, трейлеров, англоязычных блогов психологической направленности, новостей с изображением, научных статей поля «информатизация науки», протестных постов ВК, создания мультимодальных корпусов.

Можно заключить, что мультимодальный анализ захватывает все новые исследовательские сферы (например, педагогику), одновременно два его основные «крыла» все более автономизируются (анализ экстралингвистических факторов межперсонального общения строится иначе, чем анализ медиафеноменов).

ИВ 3. Какие процедуры/алгоритмы предлагаются авторами работ?

Так как в настоящей статье исследуется метод, то особый интерес представляет протокол проведения исследований – то есть следование определенным алгоритмам, использование исследовательских техник, которые могут быть применены в иных ситуациях другими исследователями. Вопрос о методе в гуманитарных науках до сих пор остается достаточно проблемным: отечественное понятие «методологии» мало соотносится с западной традицией указывать «теорию», в рамках которой ведется исследование, а сами методы до сих пор даже в работах высокой квалификации (например, кандидатских диссертациях) описываются исследователями формально, без каких-либо «обязательств» при проведении исследований. Такой подход неизбежно ослабляет работы, а также снижает конкурентоспособность российских исследований по сравнению с западной традицией, основанной на строгой процедурности и определенности методов. В российской научной практике методами называются обычно общие подходы (аспекты) проблем (например: «историко-социологический», «лингвокультурный» и т. п.). Но когда мы говорим о мультимодальном анализе, то он рассматривается прежде всего именно как алгоритм действий, определенная процедура, позволяющая извлекать смыслы из анализируемого материала в соответствии с исследовательскими вопросами. Важнейшая задача любого метода – обеспечить исследованию достоверность, которая основывается в первую очередь на преодолении исследовательской субъективности, случайности заключений и выводов. Именно поэтому ИВ 3 особенно важен в нашем исследовании.

Полученные результаты отражены в таблице (табл. 1). В некоторых статьях предложены образцы мультимодального анализа, следующего определенному протоколу. Так, в исследованиях межперсональной коммуникации трижды упомянуты распознавание/разметка изображений с помощью программного обеспечения ELAN (2, 5, 14). Также авторы предлагают свои интерпретационные алгоритмы (1, 4, 8, 9). В некоторых случаях алгоритмы обосновываются и соотносятся с теоретическими подходами (8). В других случаях при анализе данных была сделана попытка извлечь возможные алгоритмы из приведенных примеров анализа. В результате выяснилось, что сами авторы, предлагая алгоритмы, придерживаются их лишь в общих чертах: либо анализ сводится к последовательному аннотированию выбранных элементов (их описанию – см. 4, 6, 7), либо авторы сосредоточены на каком-то отдельном элементе и предлагают его интерпретацию (например, 16). Ни в одной из статей не был представлен полноценный мультимодальный анализ, следующий какому-либо протоколу (поскольку авторы и не ставили такие цели); тем более показательно, что, возможно, такие статьи и не готовятся из-за трудоемкости и необходимости включения в публикацию обширных аннотаций и разметок.

Полученные данные позволяют обнаружить основные вызовы мультимодального подхода: программное обеспечение (российские авторы работают с программой ELAN, есть упоминания Sketch Engine) дает информацию, которая не может быть охвачена и обобщена в силу ее переизбыточности, отсутствия возможности учесть и охватить в анализе все представленные такими инструментами элементы, а главное – определенной «ненужности» этих данных для получения необходимых выводов. Именно поэтому большинство исследователей «оставляют» мультимодальному анализу только сам подход: внимание к элементам, которые обычно ускользали от интерпретации, а далее обнаруживают эти элементы и интерпретируют их, не придерживаясь никаких алгоритмов или порядка процедуры. В таблице такие способы применения мультимодального анализа обозначены выражением «свободная интерпретация»: исследователь характеризует выбранный элемент интуитивно, опираясь на метод свободных ассоциаций или культурный фон (см. например, 4). Встречаются и случаи внутреннего конфликта заявленного метода и его реализации. Так, в статье 16 обнаруживаем включение данных программной обработки больших массивов информации, но далее автор опирается на традиционный способ приведения отдельных примеров сетевой коммуникации в подтверждение своих выводов, оставив большие данные в стороне.

Обобщая полученные данные в части использования схем и алгоритмов анализа, можно отметить общую логику протокола мультимодального анализа, сложившегося в российских исследованиях:

1) выделение элементов (базовых единиц, аспектов и т. п.);

2) фиксирование элементов и их аннотирование;

3) извлечение смыслов.

При реализации этой общей схемы обнаружены следующие отступления от планируемого протокола действий:

1) отказ от учета всех элементов в силу неизбежной перегруженности, а главное, трудоемкости исследования; замена полного рассмотрения феномена во всех его аспектах отдельными наблюдениями над элементами, наиболее интересными исследователю (см. 4, 15);

2) отказ от протокола интерпретации – исследователь свободно рассуждает об изучаемом объекте, не связывая свою интерпретацию какими-либо ограничениями;

3) нередко: отказ от обобщающих выводов, «увязание» в интерпретациях отдельных элементов, отсутствие синтетической части исследования.

С этими наблюдениями перекликается и анализ данных, полученных в ответ на ИВ 4.

ИВ 4. Каковы интерпретационные границы полученных в ходе мультимодального анализа сведений с точки зрения философского подхода к коммуникации, направленного на выяснение ее онтологического и социетального статуса?

В этой части в таблице (табл. 1) собраны общие выводы, к которым авторы приходят на основе проведения мультимодального анализа (либо рассуждений о нем). Нас интересовал общефилософский аспект мультимодального анализа, поскольку изначально он был введен в научный оборот Гюнтером Крессом и Тео ван Лиувеном именно как инструмент философской деконструкции привычных дискурсов с целью обнаружения глубинных структур социальной системы, препятствующих ее развитию, гармонизации, усилению позиций демократии и т. п. (Kress and van Leeuwen, 1996).

Частотным становится вывод авторов, что отдельные модусы (коды, элементы) обретают силу своего значения исключительно как часть общего ансамбля, представленного феноменом (1, 7, 10, 12). Также отмечены разные аспекты медиареальности, которые с помощью мультимодального анализа поддаются дешифровке и «расколдовыванию» (см., например, 15). Авторы исследования 11 указывают, что текстовая информация все равно доминирует в мультимодальных феноменах, а изображение лишь дополняет его. В работе 4 подчеркнуто, что мы можем рассматривать мультимодальные (неязыковые) элементы как жанрообразующие признаки/факторы. В работе 9 отмечено, что итогом мультимодального анализа должна быть не интерпретация самих элементов, но обнаружение связей между ними как смысловых констант целого. В половине работ не предлагается обобщений, проясняющих философский функционал мультимодального анализа.

Таким образом, проблема формулирования значения метода мультимодального анализа как инструмента постижения медиареальности еще ждет своего решения. Нельзя не согласиться с мнением авторов статьи 15: «В то же время главной задачей сегодня является разработка такой методологической базы дискурс-аналитического исследования, которая позволила бы интерпретировать связь между ключевыми элементами дискурсивной практики телевидения (слово, звук и изображение) и социокультурными категориями, такими как социальная дистанция, властные отношения, социальное включение и исключение, социальная идентичность и т. д.» (Красикова, Кожемякин, 2018).

Эту идею можно распространить и на другие типы медиафеноменов, обобщив ее как основную задачу метода, его целеполагание: мультимодальный анализ имеет смысл в том случае, когда с помощью его процедур исследователь выходит на уровень социокультурных значений, включая убедительную интерпретацию основных особенностей современной медиареальности.

Заключение

Проведенный анализ направлен на выяснение состояния мультимодального анализа в современном исследовательском поле с целью установления его значимости как способа получения философских обобщений о медиареальности и коммуникации. Как следует из материалов статьи, мультимодальный анализ в большей мере декларируется, то есть освоен, скорее, теоретически, нежели практически. В практическом применении метода возникают различные препятствия, связанные с трудоемкостью метода, неизменным отказом от полноценного анализа, обращением исследователей к отдельным аспектам этого инструментария для решения своих задач. В тех случаях, когда исследователи акцентируют такую задачу метода, как анализ социальных отношений-взаимодействий-дистанций, они неизбежно оказываются в методологическом пространстве символического интеракционизма, а собственно мультимодальный анализ тяготеет к обнаружению социально-семиотической нагрузки отдельных элементов изучаемого объекта. Однако стоит заметить, что именно такие примеры разборов приводили и Гюнтер Кресс, и Тео ван Лиувен (Kress and van Leeuwen, 1996).

По всей видимости, назревает необходимость не столько в новых программных продуктах и создании мультимодальных корпусов (хотя это тоже важно), сколько в «перезагрузке» самого метода. Важна мысль о том, что мультимодальный анализ не должен быть тотальным исследованием абсолютно всех модусов, собранных в медиафеномене. Так же, как отсеивание маргинального и сосредоточенность на важном обнаруживаются при айтрекинг-анализе, мультимодальный анализ, возможно, должен включать процедуру вычленения коммуникационного центра, работающего на производство смыслов активнее, чем периферия. Основная задача исследователей, заинтересованных в совершенствовании метода мультимодального анализа, во многом сводится к упрощению и значимостной переоценке протокола этого метода. Определенную перспективу такой «перезагрузки» открывает медиаэстетический подход, поскольку суть эстетического суждения (по И. Канту) – его дорациональность, мгновенность (с последующей когнитивной коррекцией). Очевидна сложность включения в процедуру метода элементов, не обладающих строгим рациональным содержанием, но, скорее всего, задача решается именно с помощью четкого протокола (как, например, сделано в ассоциативных экспериментах). Думается, что предложенная 25 лет назад схема медиаэстетического анализа Герберта Зеттла (Zettl, 1998) вполне согласуется с основным призывом Гюнтера Кресса помнить о единстве медиафеномена и симультанности его мультимодального воздействия на реципиента, но при этом обеспечивает четкий протокол исследования и способы преодоления исследовательской субъективности.

Также отметим ряд ограничений примененного в статье метода SLR: во-первых, мультимодальный анализ может проводиться авторами, не включающими его обозначение в заглавие (или даже в аннотацию и ключевые слова); во-вторых, отдельное рассмотрение именно российского исследовательского поля в отрыве от международной науки также может дать несколько предвзятую картину (из выборки были исключены англоязычные статьи российских авторов); в-третьих, объем выборки, возможно, требует расширения (например, охват более ранних периодов) и обнаружения определенной эволюции понимания и использования метода мультимодального анализа для получения более значимых выводов и обнаружения перспектив развития метода.