Технологии

Как использовать учебные материалы для проверки заданий

Автопроверка становится заметно точнее, когда ИИ ориентируется не «по памяти», а на ваши учебные материалы. Для этого есть специальная технология: она позволяет программе перед выставлением оценки заглянуть в ваши учебники, методички и критерии (специалисты называют её RAG). В результате каждая проверка соответствует именно вашей программе.

Что такое RAG

RAG (от английского «поиск нужного места в документах и ответ на его основе») — это способ работы ИИ, при котором программа перед тем, как выставить оценку, сначала находит в ваших документах те места, которые относятся к сданной работе. В роли таких документов выступают учебники, методички, конспекты и критерии оценки.

Простыми словами: вместо того чтобы ИИ отвечал «из головы», он сначала смотрит в загруженные вами материалы, а уже потом пишет оценку.

Как RAG работает при проверке заданий

Процесс состоит из нескольких шагов:

  1. Загрузка материалов. Вы загружаете учебник, методичку, критерии, примеры ответов.
  2. Подготовка к поиску. Программа прочитывает документы и запоминает, о чём каждое место, — чтобы потом быстро найти нужное.
  3. Поиск подходящих мест. Когда ученик сдаёт задание, программа находит в методичке те фрагменты, которые относятся именно к этой работе.
  4. Оценка. ИИ выставляет балл и пишет комментарий, опираясь только на найденные места ваших материалов.

Преимущества проверки по учебным материалам

Когда ИИ оценивает работу на основе ваших материалов, проверка получается более предсказуемой и понятной:

  • Соответствие вашей методичке. Оценка учитывает именно те формулировки и примеры, которые вы разбираете на занятиях.
  • Единая шкала оценки. ИИ ориентируется на ваши критерии и балльные градации.
  • Обоснованные комментарии. Каждый отзыв можно связать с конкретным местом учебного материала.
  • Понятность. Вы видите, на основании чего выставлена оценка.

MIVA для школ и онлайн-курсов использует RAG, чтобы проверка точно соответствовала загруженным материалам.

Как подготовить материалы для RAG

Качество автопроверки зависит от того, какие документы вы загрузили. Вот несколько рекомендаций:

  • Делите материалы на темы. Разбейте большие методички по разделам — так программе проще находить нужное место.
  • Добавляйте примеры. Хорошие и плохие ответы помогают ИИ понять ваши критерии.
  • Формулируйте критерии чётко. Избегайте расплывчатых фраз вроде «хороший ответ».
  • Обновляйте материалы. Если программа меняется, загружайте актуальные версии документов.

Как работает RAG простыми словами: эмбеддинги, поиск по смыслу и реранкинг

Под капотом технологии три механизма, и полезно понимать, что делает каждый.

Эмбеддинги — «координаты смысла». Каждый фрагмент вашего документа преобразуется в набор из тысячи чисел, отражающих смысл фрагмента. Фрагменты со схожим содержанием получают близкие «координаты», даже если написаны разными словами. Поэтому поиск понимает, что «причины реформ 1861 года» и «земельное устройство после отмены крепостного права» — соседние темы, хотя общих слов у фраз почти нет.

Поиск по смыслу. Когда ученик сдаёт задание, его текст тоже превращается в эмбеддинг, и система находит в ваших материалах фрагменты с ближайшими «координатами». Это принципиально отличается от поиска по словам: подходят не только куски, где встретилось нужное слово, но и те, где тема раскрыта другими словами.

Реранкинг — финальная сортировка. Из найденных фрагментов отдельная модель выбирает самые релевантные именно для этой работы и отбрасывает лишние. На выходе ИИ получает компактный набор ваших материалов и оценивает работу только по ним.

Какие материалы подходят для базы знаний

Хорошо работают текстовые документы с выделяемым текстом:

  • учебники и рабочие тетради в форматах PDF, DOCX и TXT;
  • методички и авторские конспекты;
  • критерии оценки и официальные критерии экзаменов;
  • примеры хороших и слабых ответов с разбором;
  • глоссарии, списки терминов и дат.

Не подходят сканы и фотографии страниц: если из документа нельзя выделить и скопировать текст (PDF-скан, сфотографированная страница учебника), система не сможет его прочитать. Проверить просто — откройте файл и попробуйте выделить абзац мышью. Если текст не выделяется, файл нужно заменить на текстовую версию. То же касается документов с «рваным» извлечением текста: из таблиц, колонтитулов и подписей под рисунками текст иногда собирается с ошибками, и такой материал лучше прочитать и поправить перед загрузкой.

Ограничения: что важно учитывать

RAG не волшебство, и честное понимание ограничений помогает получать от него максимум.

  • Качество исходного текста. ИИ оценивает работу, опираясь на ваши материалы. Если в конспекте опечатка в дате или термине, система будет считать её верной. Загружайте вычитанные документы.
  • Актуальность материалов. Если вы обновили программу или критерии экзамена, загрузите новую версию документа и отключите устаревшую. В базе знаний не должно быть двух методичек с противоречащими формулировками.
  • Релевантность материала заданию. База знаний привязывается к конкретному заданию, а не ко всему курсу сразу. Для задания по одной теме загружайте материалы именно этого раздела — так поиск будет точнее.
  • Объём. Один хороший конспект по теме работает лучше, чем сто страниц смежных материалов: избыточный объём размывает поиск, и система начинает подставлять фрагменты «почти по теме».

Пример: задание, которое ИИ проверяет по вашей базе знаний

Посмотрим на конкретный сценарий. Вы преподаёте историю и готовите девятиклассников к ОГЭ. Загружаете в базу знаний конспект по теме «Экономическая политика СССР в 1920-е годы» и критерии задания с разбором. Затем создаёте задание: «Раскройте с помощью исторического знания отношение историка к НЭПу. Ответ дайте в объёме 5–10 предложений, укажите не менее двух фактов».

Ученик сдаёт работу. Система находит в вашем конспекте фрагменты про НЭП и проверяет ответ строго по ним: знает ли ученик содержание и сроки политики, понимает ли её цели и итоги, не выдумывает ли факты. Если ученик написал «НЭП был отменён в 1925 году», а в конспекте — 1928-й, ИИ отметит фактическую ошибку со ссылкой на ваш материал. Итог — оценка по вашим критериям и комментарий, опирающийся на то, что вы сами разбирали на занятиях.

Как проверить качество документа перед загрузкой

Пять минут на проверку файла экономят часы разбора спорных оценок. Перед загрузкой в базу знаний пройдите по короткому чек-листу:

  1. Текст выделяется. Откройте файл и скопируйте абзац. Если не получается — это скан, нужна текстовая версия.
  2. Нет опечаток в ключевых местах. Даты, термины и фамилии ИИ воспримет как истину: сверьте их с первоисточником.
  3. Один документ — одна тема. Не загружайте конспект за весь курс одним файлом: разбейте его по разделам.
  4. Нет устаревших формулировок. Если документ писался под старые критерии экзамена, обновите его до загрузки.
  5. Структура читается. Заголовки, нумерация и списки помогают системе правильно разбивать документ на фрагменты — не удаляйте их при подготовке файла.

После загрузки система сама оценивает чистоту текста: если документ содержит много мусора (обрывки колонтитулов, склейки слов, пустые страницы), вы увидите предупреждение о низком качестве. Такой файл лучше заменить — иначе поиск по нему будет выдавать нерелевантные фрагменты, а ИИ станет опираться на искажённый материал. Кстати, это работает и в обратную сторону: если вы уверены, что документ корректен, а система пометила его как сомнительный, подтвердите его вручную — предупреждение скроется, и документ останется в работе.

Наконец, помните: база знаний — это не архив, а рабочий инструмент. Раз в полугодие просматривайте список документов и удаляйте те, что потеряли актуальность. Со временем вы заметите, что точнее всего проверяются темы с детальными конспектами и разобранными примерами, — и начнёте готовить материалы под автопроверку сразу, а не задним числом.

О том, как устроена автопроверка заданий целиком — от формулировки задания до оценки по критериям, — мы писали в статье «Как ИИ проверяет домашние задания». А практический пример того, как официальные критерии превращаются в профиль оценки, разобран в материале «Критерии оценивания сочинения ЕГЭ».

Заключение

RAG помогает использовать ваши учебные материалы как основу для автопроверки. Оценка опирается на методички, критерии и примеры, поэтому ученики получают развёрнутые и понятные комментарии. Если вы планируете внедрять автопроверку в школе или на курсе, выбирайте инструменты, которые умеют работать с вашими документами.

Попробуйте MIVA Lite за 1 рубль на первую неделю и проверьте на практике, как это работает с вашими учебными материалами.

Проверяйте задания по своей методичке

Первая неделя MIVA Lite — 1 рубль. Убедитесь в точности RAG-проверки.

Начать за 1 рубль