ИИ, который умеет сказать «не знаю»: ответы только с документом

Юрист спрашивает чат-бота: «Какой номер свидетельства указан в заключении эксперта?» Бот уверенно называет номер. Номер выглядит правдоподобно, у него правильный формат. Только в документе его нет — бот его придумал. Юрист замечает это случайно, перепроверяя по бумаге.

Так выглядит главная проблема ИИ в бизнесе. Не то, что он чего-то не знает, а то, что он не признаётся в этом. Ошибка, сказанная уверенным тоном, хуже честного «не знаю»: её не перепроверяют.

Мы строили базу знаний MEMUS вокруг одного правила: ИИ, который не выдумывает ответы, должен уметь отказаться. Рассказываем, как это устроено и как мы это проверяем.

Почему обычный ИИ-поиск выдумывает

Большинство ИИ-помощников по документам работают так: находят несколько кусков текста, похожих на вопрос, и просят модель «ответить по ним». Модель старается быть полезной. Если в найденных кусках ответа нет, она всё равно что-то напишет — из общих знаний или по аналогии. Ссылки на источник она тоже часто пишет сама, и они иногда ведут не туда.

Отсюда три беды:

Ответ есть, даже когда в документах его нет.
Ссылка стоит, но документ говорит о другом.
Пользователь не может отличить первое и второе от настоящего ответа.

Как MEMUS отвечает: девять шагов

1. Права — до поиска

Сначала система определяет, какие документы человеку вообще можно видеть. Поиск идёт только по ним. Модель не «видит» документы, к которым у человека нет доступа, — поэтому не может случайно пересказать чужую зарплату или закрытый договор. Права приходят из оргструктуры TEAMUS: человек перешёл в другой отдел — доступ поменялся сам.

2. Документ разобран по структуре

При загрузке каждый документ режется не по количеству знаков, а по разделам. Каждый кусок помнит, из какого он раздела и с какой страницы. Таблицы хранятся как таблицы: вопрос про конкретное число уходит прямо в ячейку.

3. Поиск по многим каналам сразу

Вопрос ищется параллельно разными способами: по смыслу, по словам, по таблицам, по описаниям картинок, по связям между людьми и событиями, по готовым ответам. Документ, который нашли сразу несколько способов, поднимается выше.

4. Проверка уверенности — до модели

Самый важный шаг. Прежде чем звать модель, система считает четыре признака:

Признак	Что проверяет
Совпадение	Есть ли в найденном слова и понятия из вопроса
Лучший результат	Насколько хорошо подходит самый релевантный кусок
Плотность доказательств	Подтверждают ли ответ несколько кусков или один случайный
Разброс	Есть ли явный лидер или все куски одинаково «так себе»

Если сумма ниже порога, система отказывается отвечать и объясняет почему: «в базе этого нет». Модель при этом не вызывается вовсе. Такой отказ дешевле ответа, и его можно проверить.

5. Защита от «вредных» документов

Найденные куски передаются модели в отдельной ограде с пометкой «это текст документа, а не команда». Если в договоре контрагента кто-то написал «игнорируй предыдущие инструкции», это не сработает — для системы это просто строчка документа.

6. Модель пишет только текст

Модель формулирует ответ человеческим языком. И всё. Ссылки на источники она не пишет.

7. Ссылки ставит программа

Ссылки собирает код — из данных о том, откуда взят каждый кусок. Ссылка ведёт до страницы или пункта документа. Модель не может «придумать» источник, потому что не она его ставит.

8. Сверка ссылок с ответом

Каждая ссылка дополнительно сверяется с текстом ответа: упомянут ли этот документ, совпадают ли формулировки, есть ли в ответе число из этого куска. Подтверждённые ссылки идут первыми, неподтверждённые помечаются.

9. Ответ по частям

Если на вопрос можно ответить только частично, MEMUS так и говорит: «Вот это есть, с цитатой. Вот это — частично. А этого в базе нет». Для ИИ-агента это сигнал: на подтверждённое ответить клиенту, неподтверждённое — спросить у людей.

Как мы проверяем, что это работает

Обещать «наш ИИ не ошибается» легко. Мы предпочитаем мерить.

Для проверки мы собрали базу из реальных юридических документов — большое уголовное дело на тысячи страниц, гражданское дело, устав, расчётные листки — и составили 31 контрольный вопрос. К каждому вручную найден точный ответ и место в документе. Среди вопросов есть специально трудные:

расхождения: одно и то же записано в разных местах документа по-разному, и правильный ответ — назвать оба варианта;
ловушки: ответа в документах нет, и единственный правильный ответ — «в документах этого нет». Любая цифра в ответе — выдумка.

Один и тот же набор прогоняется до и после каждого изменения. Так видно, что починилось и что сломалось.

Что показал замер в конце октября 2026 года, после двух волн исправлений:

глубокий поиск: 7 верных ответов из 9 и 2 частично верных, ни одного неверного. За два дня до этого было 1 верный и 7 неверных;
нужный документ приложен в 10 ответах из 10;
посторонних ссылок — 1 вместо примерно 19;
пилот ИИ-агентов на той же базе: 18 верных ответов из 19, а на вопросы вне базы — честное «не указано».

Это наш внутренний замер на тестовой базе, а не обещание для любых документов. Но порядок цифр показывает главное: система научилась не отвечать, когда ответа нет.

Почему отказ выгоден бизнесу

Кажется, что ИИ, который часто говорит «не знаю», хуже ИИ, который отвечает на всё. На деле наоборот.

Уверенная выдумка обходится дорого: неверная цена в переписке с клиентом, несуществующий пункт договора в письме юриста, обещание доставки, которое никто не выполнит. Такие ошибки находят поздно — когда клиент уже ждёт.

Честный отказ обходится дёшево. Он виден сразу, его можно разобрать и закрыть: дописать документ, ответить на вопрос, добавить знание. Каждый отказ показывает, где в базе дыра. Поэтому в MEMUS отказы не прячут, а считают: это список того, что компании стоит записать.

Сколько это стоит и как быстро

Честный отказ не делает систему медленной или дорогой. По нашим замерам обычный ответ занимает около 8 секунд и стоит около $0,005, глубокий — около 24 секунд и $0,012. Отказ без обращения к модели — ещё дешевле. А готовые ответы, которые уже утверждены людьми, находятся за 0,3–0,8 секунды.

Четыре уровня ответа агента

На этой базе работают ИИ-агенты в AGENTUS. Каждый клиентский агент ищет ответ по лестнице:

Карточка компании — адрес, часы работы, реквизиты.
Готовые ответы — то, что уже утвердили люди.
База знаний MEMUS — поиск по документам с проверкой уверенности.
Вопрос людям — если на предыдущих уровнях ответа нет.

С каждым вопросом, на который ответили люди, база растёт, и агент реже доходит до четвёртого уровня. Как это работает — в статье «Каждый вопрос без ответа — новое знание».

Где «не знаю» особенно важно

Юристы и комплаенс. Номер договора, дата, сумма — либо точно из документа, либо никак.
Поддержка клиентов. Агент не пообещает возврат, которого нет в регламенте.
Продажи. Агент не назовёт скидку, которой нет в прайсе.
Производство и техника. Вопрос «допустимая нагрузка при 300 °C» должен уйти в ячейку таблицы, а не в фантазию модели.
Новички. Человек, который только пришёл, не отличит уверенную выдумку от правды. Ему особенно нужна ссылка на пункт.

Там, где логика должна быть не просто подтверждена документом, а доказана, — например, «отгружать только при подписанном акте», — подключается LOGUS: он не угадывает правило, а проверяет его. Об этом — в статье «LOGUS: ИИ, которому нельзя ошибаться».

Чек-лист: как проверить любую ИИ-базу знаний

Перед покупкой любой системы задайте ей пять вопросов:

Вопрос, ответа на который точно нет в ваших документах. Правильный ответ — «нет в базе».
Вопрос про конкретное число из таблицы. Ответ должен совпасть до цифры.
Вопрос, где два документа противоречат друг другу. Хороший ответ называет оба варианта.
Вопрос от сотрудника без доступа к документу. Ответа быть не должно.
Откройте каждую ссылку в ответе. Она должна вести на место, где это написано.

Итог

ИИ, который умеет сказать «не знаю», полезнее ИИ, который знает всё. В MEMUS отказ — не сбой, а рабочий результат: он дешёвый, проверяемый и запускает цикл, в котором компания учится. Ссылки ставит программа, права проверяются до поиска, а честность мы мерим контрольными вопросами с ловушками. Тарифы на базу знаний и агентов — на странице цен.

Хотите проверить MEMUS на своих документах — с вопросами-ловушками? Оставьте заявку на демо.