Введение (Introduction)

Глубокое понимание когнитивных процессов, инициируемых пользователями при взаимодействии с генеративными ИИ-системами, имеет ключевое значение для исследований в области когнитивной лингвистики и компьютерной лингвистики (Zhang Y. et al., 2025). Пересмотренная таксономия Блума (Anderson, Krathwohl, 2001), разработанная более двух десятилетий назад для классификации когнитивных процессов в образовательных целях, предоставляет надежный инструмент для структурированного анализа когнитивных процессов, отражаемых в языке. Данная таксономия активно применяется в отечественных и зарубежных исследованиях: Е.Н. Дятлова использует ее как теоретическую основу при разработке уровней сформированности социально-гуманитарных знаний школьников (Дятлова, 2022), Е.С. Коваленко и Н.М. Кузуб показывают ее эффективность для повышения качества профессиональной педагогической подготовки в вузе (Коваленко, Кузуб, 2020), P. Rivera-Reyes с соавторами применяют ее для оценки когнитивной нагрузки задач в университетском курсе электротехники (Rivera-Reyes et al., 2018), L. Bootu с соавторами демонстрируют применение современных методов ИИ для автоматического распределения экзаменационных вопросов по когнитивным категориям таксономии (Bootu et al., 2025). Однако применение данной таксономии в анализе естественных запросов пользователей к современным ИИ-системам остается недостаточно активным.

Пересмотренная таксономия Блума, предложенная Андерсоном и Кратволом, имеет ряд отличий от оригинальной версии 1956 года. Во‑первых, категории когнитивных процессов переосмыслены как динамические действия: вместо имен существительных (Knowledge, Comprehension, Application, Analysis, Synthesis, Evaluation) используются глагольные формы (Remember, Understand, Apply, Analyze, Evaluate, Create), что подчеркивает операционный характер когнитивной активности и облегчает формулирование наблюдаемых образовательных задач. Во‑вторых, переупорядочены высшие уровни: «Synthesis» переименован в «Create» и помещен над уровнем «Evaluate», что отражает представление о творчестве как о наиболее сложном типе когнитивной активности. В-третьих, был добавлен новый уровень знаний – метакогнитивный. Наконец, ключевым отличием стала двухмерная архитектура модели, в которой ось когнитивных процессов систематически пересекается с измерением уровней знаний (фактического, концептуального, процедурного и метакогнитивного), что позволяет более точно описывать выполняемые субъектом задачи. Появление пересмотренной таксономии обусловлено как накопившейся критикой первоначальной модели (в частности, неразличением «знания» как запаса информации и операций над ним), так и развитием когнитивной психологии и педагогических исследований, требующих более гибкого инструмента для проектирования, обучения и оценки образовательных результатов.

Таксономия Блума первоначально была разработана в рамках педагогики для описания и упорядочения целей обучения. Пересмотренная таксономия организована в виде иерархии когнитивных процессов, возрастающей по сложности: REMEMBER (извлечение информации из памяти), UNDERSTAND (объяснение смысла идей или понятий), APPLY (применение процедур в знакомых или новых ситуациях), ANALYZE (разложение материала на составные части и выявление связей), EVALUATE (оценка на основе критериев и стандартов) и CREATE (создание нового путем комбинирования элементов). Параллельно таксономия классифицирует и уровни знаний, требуемые для решения когнитивной задачи: FACTUAL (знание фактов и терминов), CONCEPTUAL (знание классификаций, принципов и структур), PROCEDURAL (знание способов делания и специфических техник) и METACOGNITIVE (знание стратегий обучения и саморегуляции) (Anderson, Krathwohl 2001; Кораванец 2025, Дятлова, 2022; Коваленко, Кузуб, 2020; Rivera-Reyes et al., 2018; Bootu et al., 2025).

Современное применение таксономии Блума к анализу естественных запросов пользователей к генеративным ИИ-системам раскрывает новое измерение когнитивной лингвистики: промпт (естественный запрос) интерпретируется как вербализованная форма определенного типа когнитивной задачи. Это означает, что лингвистические маркеры запроса (глаголы действия, синтаксис, модальность) могут быть систематически сопоставлены с категориями таксономии Блума и, таким образом, предоставляют окно в когнитивную архитектуру пользовательского поведения.

Настоящее исследование призвано расширить прикладной аспект когнитивных исследований, предлагая структурную классификацию 999 реальных запросов пользователей из датасета BIDD-1k (Bard Intelligence and Dialogue Dataset) (Trippas J. BIDD-1k).

Целью работы, с одной стороны, является определение когнитивных процессов и уровней знаний, применяемых при формулировании запросов к генеративным ИИ-системам, а также оценка надежности применения пересмотренной таксономии Блума для автоматической классификации таких запросов, а с другой стороны – выявление на этой основе типовых когнитивных сценариев, которые должны поддерживаться перспективной системой управления терминологией в среде LLM.

В соответствии с поставленной целью решаются следующие задачи:

• описать распределение запросов по категориям когнитивных процессов и уровням знаний в датасете BIDD‑1k;
• выявить устойчивые сочетания когнитивных процессов и типов знаний, репрезентирующие типичные пользовательские сценарии;
• интерпретировать обнаруженные сценарии как требования к функциональным модулям и интерфейсным решениям системы управления терминологией, интегрируемой с генеративными ИИ-системами.

Основнаячасть (The main content)

Исследование проводилось с использованием следующего инструментария и методов. Датасет BIDD-1k содержит 999 анонимных запросов пользователей, собранных из сеансов взаимодействия с Google Bard. Запросы охватывают разнообразные тематики: технические вопросы, рецепты, вопросы на эрудицию, психологические запросы, математические задачи, творческие заказы, опросы и спонтанные диалоги.

Для классификации используется локальная версия открытой языковой модели GPT OSS (Open Source) размером 20 млрд параметров, что обеспечивает:

• конфиденциальность пользовательских данных (обработка выполнялась локально, без передачи в облако);
• воспроизводимость результатов (возможность повторного запуска с идентичными параметрами);
• независимость от платных API;
• возможность детального анализа внутренних состояний модели (OpenAI. gpt-oss) (https://github.com/openai/gpt-oss).

В качестве основы для осуществления автоматизированной классификации когнитивных процессов применяется пересмотренная таксономия Блума в редакции Андерсона и Кратволя (Anderson, Krathwohl, 2001) с двумя основными измерениями, а сама классификация проводится в два этапа.

Первый этап предполагает формирование системного промпта с детализированным описанием шести категорий когнитивных процессов (REMEMBER, UNDERSTAND, APPLY, ANALYZE, EVALUATE, CREATE), четырех уровней знаний (FACTUAL, CONCEPTUAL, PROCEDURAL, METACOGNITIVE), типичных глаголов-индикаторов, критериев принятия решения и примеров для каждой категории (Anderson, Krathwohl, 2001).

Второй этап включает процесс итеративного выполнения: разработка программы на языке Python, которая итеративно отправляет каждый промпт к языковой модели с детальным системным промптом. Модель возвращает три параметра: категория когнитивного процесса; уровень знания; численная оценка уверенности в диапазоне 0–100 %.

Далее приведен системный промпт в полном объеме, который был передан языковой модели:

«КОНТЕКСТ: Ты должен классифицировать текст промптов из запроса пользователя, используя пересмотренную таксономию Блума (Anderson & Krathwohl, 2001). Выполняй классификацию, используя свои встроенные методы языковой модели без скриптов.

КАТЕГОРИИ КОГНИТИВНЫХ ПРОЦЕССОВ:

1. REMEMBER (Знать, помнить)

Суть: извлечение фактов или информации из памяти.

Типичныеглаголы: recall, recognize, list, define, identify, name, repeat.

2. UNDERSTAND (Понимать)

Суть: объяснение смысла, интерпретация, перефразирование.

Типичныеглаголы: explain, summarize, describe, interpret, classify, compare, paraphrase.

3. APPLY (Применять)

Суть: выполнять и использовать изученную процедуру при реализации в иной ситуации.

Типичныеглаголы: apply, use, execute, implement, solve, demonstrate.

4. ANALYZE (Анализировать)

Суть: разложение на части, выявление связей, описание соотношения части с целым.

Типичныеглаголы: analyze, differentiate, compare, contrast, organize, attribute, examine.

5. EVALUATE (Оценивать)

Суть: делать суждения, основанные на критериях и стандартах.

Типичныеглаголы: evaluate, judge, critique, justify, decide, argue, prioritize.

6. CREATE (Создавать)

Суть: соединять части, чтобы появилось что-то новое, определять компоненты и характеристики созданного.

Типичныеглаголы: create, design, generate, plan, compose, invent, develop.

УРОВНИ ЗНАНИЙ:

A. FACTUAL (Фактическое знание – базовая информация)

Знание терминологии. Знание специфических деталей и элементов.

B. CONCEPTUAL (Концептуальное знание – отношения между частями большой структуры, позволяющие им действовать как единое целое (рассмотрение изучаемого объекта как системы: структурных элементов и связей между ними; соотношение изучаемого объекта с другими объектами))

Знание классификаций и категорий. Знание принципов и общих правил. Знание теорий, моделей и структур.

C. PROCEDURAL (Процедурное знание – знание о действиях познания, об основах их выбора/отбора и последовательности осуществления (что, как и в какой последовательности делать со знанием: фактическим, концептуальным))

Владение специфическими навыками и алгоритмами. Знание критериев для определения, когда следует применять соответствующие процедуры.

D. METACOGNITIVE (Метакогнитивное знание – знание о познании в целом и о собственной специфике познания)

Знание стратегий. Знание о когнитивных задачах, включая соответствующее знание контекста и условий. Самопознание.

ФОРМАТ ОТВЕТА:

Строго объект из трех атрибутов типа JSON.

ЗАГОЛОВКИ: cpl, kl, conf

cpl (КАТЕГОРИЯ_КОГНИТИВНЫХ_ПРОЦЕССОВ) = {REMEMBER | UNDERSTAND | APPLY | ANALYZE | EVALUATE | CREATE}

kl (УРОВЕНЬ_ЗНАНИЙ) = {FACTUAL | CONCEPTUAL | PROCEDURAL | METACOGNITIVE}

conf (УВЕРЕННОСТЬ_КЛАССИФИКАЦИИ) = 0-100 %

КРИТЕРИЙ УВЕРЕННОСТИ:

- 95-100 %: глагол явный (e.g., “create”, “analyze”), контекст ясен.

- 80-94 %: глагол основной, но контекст частично неоднозначен.

- 60-79 %: глагол отсутствует или подразумевается, возможны множественные интерпретации, выбери вероятнейшую.

- <60 %: не классифицируй, напиши "”AMBIGUOUS, AMBIGUOUS, 0".

FEW-SHOT ПРИМЕРЫ:

"”Explain how the autonomic nervous system works in the human body.". Ответ: [UNDERSTAND, CONCEPTUAL, 90]

"”Determine the best way to…". Ответ: [APPLY, PROCEDURAL, 95]

"”Create a cover image for a film.". Ответ: [CREATE, PROCEDURAL, 95]

"”Compare the pros and cons of remote work vs office work.". Ответ: [ANALYZE, CONCEPTUAL, 92]

Выведи строго три атрибута, например: [APPLY, PROCEDURAL, 100].

ИНСТРУКЦИЯ: Классифицируй промпты ниже.»

В связи с частью системной инструкции «…используя свои встроенные методы языковой модели без скриптов» представляется необходимым дополнительно обосновать данное исследовательское решение. Ограничения больших языковых моделей по размеру контекстного окна и максимальному числу генерируемых токенов в сочетании с наличием инструментов исполнения кода приводят к тому, что модель нередко выбирает генерацию программ на языке Python и статистическое решение задачи как более «ресурсно экономный» способ обработки данных. При этом в условиях автоматической классификации по таксономии Блума такое инструментальное поведение может приводить к переоценке формальных признаков (в первую очередь наибольшее внимание уделяется типичным глаголам действия), что повышает риск нерелевантных решений и программных ошибок, особенно когда в одном высказывании присутствуют несколько глаголов, относящихся к различным категориям когнитивных процессов, а к уровням знаний подобная методика вообще неприменима. В указанной конфигурации системного промпта модель, напротив, вынуждена опираться на базовые механизмы работы LLM – векторное представление текста, выявление семантических связей посредством механизма внимания и трансформерную обработку последовательностей, – что соответствует современным представлениям о принципах функционирования моделей данного класса.

Первый запуск обработал 996 промптов успешно. Три промпта с ошибками в структуре JSON-вывода были переклассифицированы во втором запуске, достигнув полноты 999/999 (100 %). Высокая полнота указывает на хорошую применимость таксономии Блума к естественным запросам пользователей и надежность используемой модели для подобных задач.

Эмпирический анализ 999 запросов пользователей к LLM позволяет выявить и количественно зафиксировать преобладающие типы когнитивных задач в реальных сценариях использования и описать те классы операций с терминологическими единицами, которые должна поддерживать система управления терминологией в реальных сценариях использования.

Классификация запросов по пересмотренной таксономии Блума выявила следующее распределение когнитивных процессов:

• REMEMBER (39,5 %; 374 запроса): Простые запросы на фактическую информацию, определения, перечисления. Пример: "Is there a service or even github repository for a project that allows you to take a voice from a video clip and turn it into an AI voice?".
• CREATE (21,8 %; 206 запросов): Запросы на генерацию нового контента, дизайн, планирование. Пример: " I want to create the ultimate beginners guide to overdrafts for people learning about personal finance. Please create a title and subtitles as the outline".
• UNDERSTAND (14,7 %; 139 запросов): Просьбы об объяснении и интерпретации. Пример: " Can you take a look at this database diagram for me and make sense of it?'".
• APPLY (12,7 %; 120 запросов): Запросы на решение практических задач и выполнение процедур. Пример: " How do you remove dust from the top of decorative candles".
• EVALUATE (8,4%; 79 запросов): Запросы на оценку, сравнение и обоснование. Пример: " Yaris Cross vs Kodiaq. Which is better?".
• ANALYZE (2,9%; 27 запросов): Запросы на разложение на части и анализ отношений. Пример: "[0,9,9,9,9] what is the pattern?".
• AMBIGUOUS (5,3%; 53 запроса): Запросы, не укладывающиеся четко в одну категорию. Пример: "I love you, Bard." (см. табл. 1).

Таблица 1

Категории когнитивных процессов

Table 1

Categories of Cognitive Processes

Доминирование REMEMBER (39,5 %) и CREATE (21,8 %), составляющих в сумме 61,3 %, отражает двойственную функцию современных LLM как справочного ресурса и генератора контента. Система воспринимается пользователем прежде всего как расширенный поисковик и инструмент для генерации ресурсов.

Наоборот, низкие доли у процессов ANALYZE (2,9 %) и EVALUATE (8,4 %), совместно составляющие менее 11 %, указывают на то, что пользователи не рассматривают LLM как инструмент для критического анализа. С точки зрения проектирования системы управления терминологией, полученные пропорции указывают на недоиспользованный потенциал аналитических операций с терминами. Это представляет собой зону потенциального роста для системы управления терминологией: аналитические функции (проверка единообразия терминов, выявление синонимии, анализ концептуальной иерархии) могут быть явно предложены и интегрированы в интерфейс.

Таблица 2

Уровни знаний

Table 2

Knowledge Levels

Параллельный анализ по уровням знаний показывает (см. табл. 2):

• FACTUAL (44,4 %; 420 запросов): Запросы на факты, специфические детали. Пользователь ищет готовый ответ, встроенный в память модели. Пример: “Has there been an amazing race finale in Boston?”.
• PROCEDURAL (29,9 %; 283 запроса): Запросы на способы решения задач и алгоритмы действия. Пользователь делегирует системе выполнение процедуры (написание кода, составление документа, создание шаблона). Пример: “Can you write an ending to George R. R. Martin's A Song of Ice and Fire series?”.
• CONCEPTUAL (23,9 %; 226 запросов): Запросы на понимание отношений, структур и принципов. Пользователь стремится к системному видению проблемы. Пример: “What is the song "fire escape" by foster the people about?”.
• METACOGNITIVE (1,7 %; 16 запросов): Запросы на стратегии обучения и саморефлексию. Пользователь просит помощь в организации собственного процесса познания, хотя такого рода запросов не было найдено. Однако, что самое интересное, пользователь просит языковую модель изменить собственный подход к генерации ответа и решении задачи, а также запросы лично к модели, как к личности. Пример: “use less verbosity”.

Практически нулевое присутствие метакогнитивных запросов (1,7 %) свидетельствует о том, что пользователи либо не осознают возможности LLM в поддержке рефлексии и планирования собственного обучения, либо культурно не готовы делегировать эти функции машине. Это представляет собой значительный потенциал для будущих версий системы: модуль поддержки метакогнитивных компетенций (например, помощь в планировании обучения специализированной лексике, автоматическое выявление пробелов в знаниях пользователя) может существенно повысить ценность инструмента.

Анализ двумерной корреляции категорий когнитивных процессов и уровней знания выявляет следующие критически важные закономерности (см. табл. 3).

Таблица 3

Корреляция категорий когнитивных процессов и уровней знания

Table 3

Correlation of Cognitive Process Categories and Knowledge Levels

Три наиболее выраженные связи раскрывают структуру пользовательского поведения:

• REMEMBER + FACTUAL (366 случаев). Это ядро "энциклопедической" функции LLM. Пользователь ищет быстрый и точный ответ на вопрос о факте, определении или терминологии. Для системы управления терминологией это означает приоритетное внимание к качеству и полноте поискового индекса, скорости поиска и релевантности выдачи.
• APPLY + PROCEDURAL (112 случаев). Вторая по силе пара указывает на функцию "умного исполнителя". Пользователь не просто ищет информацию, но делегирует системе выполнение конкретной процедуры: написание договора, генерацию шаблона, форматирование документа. Это требует интеграции терминологической базы с генеративными модулями и поддержки шаблонизации.
• UNDERSTAND + CONCEPTUAL (103 случая). Эта пара отражает "аналитическую" потребность пользователя. Запрос не сводится к простому поиску факта; пользователь хочет понять структуру понятия, его место в системе, отношение к смежным концептам. Это требует наличия в системе формализованной концептуальной модели (онтологии), позволяющей предоставлять не просто определение, но и контекст понятия в рамках всего терминологического пространства.

В совокупности эти три кластера задают каркас требований к системе управления терминологией: модуль высокоточного фактического поиска, модуль процедурной генерации терминологически согласованных текстов и модуль концептуальной навигации по онтологии предметной области.

Заключение (Conclusions)

Проведенное исследование демонстрирует возможность успешного применения пересмотренной таксономии Блума для систематической классификации запросов пользователей к генеративным ИИ-системам. Автоматический анализ 999 промптов с использованием локальной языковой модели выявил четкие закономерности в распределении когнитивных процессов и типов требуемого знания. Современный пользователь использует большие языковые модели как гибридный инструмент: это одновременно и справочник для извлечения фактов, и процедурный генератор решений, но практически никогда не используется для метакогнитивного анализа.

Перспективы дальнейшего исследования включают: расширение анализа на другие датасеты и языки; сравнение классификации, полученной локальной моделью, с классификацией по более мощным моделям и с ручной классификацией экспертов; анализ динамики изменения когнитивных уровней запросов во времени; исследование корреляций более детального уровня между типами знания и когнитивными процессами. С практической точки зрения полученные результаты могут быть использованы как эмпирическая спецификация требований к системе управления терминологией, интегрированной с LLM. Доминирование кластеров REMEMBER + FACTUAL и APPLY + PROCEDURAL указывает на необходимость приоритизации модулей высокоточного фактического поиска и процедурной генерации текстов на основе согласованной терминологической базы, тогда как относительно низкая представленность ANALYZE и EVALUATE задает вектор развития в сторону поддерживающих аналитических и оценочных функций (контроль терминологической согласованности, выявление концептуальных пробелов и коллизий).