Нейросеть врёт уверенно: как поймать выдумку за минуту

Что получишь

Пять проверок, на каждую уходит секунд по десять. Их хватает, чтобы поймать большую часть выдумок до того, как ты отправила текст начальнику или поверила в «льготу, которая положена всем пенсионерам».

Готовые просьбы-перепросы: вставила, и нейросеть сама показывает, где не уверена.

И короткий список, где сверять то, на чём нельзя ошибиться: налоги, лекарства, законы, финансовые организации. Там нейросеть вообще не источник.

Почему она врёт, да ещё уверенно

Выдумки нейросети называют галлюцинациями. Злого умысла тут нет, и сломанной её не назовёшь. Так устроена сама технология.

OpenAI в справке «Does ChatGPT tell the truth?» прямо перечисляет, что бывает: неверные даты, определения и факты, выдуманные цитаты, исследования и ссылки на источники, которых не существует, и слишком уверенные ответы на сложные вопросы. И отдельно: ChatGPT может звучать уверенно, даже когда ошибается.

У Anthropic в справке про Claude то же самое: Claude может приводить цитаты, которые выглядят авторитетно, но не подтверждены фактами, и на него нельзя полагаться как на единственный источник правды, особенно в важных вопросах.

Почему уверенно? В исследовании OpenAI «Why language models hallucinate» объяснение похоже на школьный тест. Если за ответ «не знаю» ставят ноль, а за угаданный ответ балл, выгоднее угадывать. Модели годами учили и оценивали примерно так. Вот она и угадывает, причём тем же спокойным тоном, каким говорит правду.

История, после которой юристы во всём мире стали осторожнее. В 2023 году в суде Нью-Йорка (дело Mata против Avianca) адвокаты подали документ со ссылками на несколько судебных решений. Решения с номерами, цитатами и названиями сочинил ChatGPT, ни одного из них не существовало. Адвокаты и после вопросов суда продолжали на них ссылаться. Суд их наказал. Это всё есть в решении суда от 22 июня 2023 года, оно опубликовано.

Так что ждать, когда нейросеть перестанет ошибаться, бессмысленно. Проще научиться быстро это замечать.

Деньги, налоги, лекарства, законы: нейросеть не источник

Этот раздел прочитай даже если остальное пролистаешь.

Есть четыре темы, где ошибка стоит денег, здоровья или суда:

• деньги: кредиты, вклады, инвестиции, «выгодные предложения», переводы
• налоги: вычеты, льготы, ставки, сроки, декларации
• лекарства: дозировки, совместимость, противопоказания, «чем заменить»
• законы: права, сроки, штрафы, пособия, выплаты, суды

Здесь нейросеть годится, чтобы разобраться в словах, понять, что вообще спрашивать, составить список вопросов к врачу или налоговой. Но не чтобы принять решение по её ответу. Законы и ставки меняются, у каждого региона свои льготы, а нейросеть может не знать свежего или сочинить правдоподобное.

Где сверять. Это официальные сайты, у них ответ первоисточника:

Если нейросеть назвала номер закона, статью или сумму, найди это на официальном сайте. Не нашла, значит не было.

Шаги: пять проверок за минуту

Проверка 1. Спроси, откуда она это взяла

Самая быстрая. После любого ответа с фактами вставь:

Откуда эти сведения? Для каждого факта, цифры и цитаты в твоём ответе укажи источник: название, автора или организацию, год и ссылку, если она есть.
Если точного источника нет и это твоё обобщение или предположение, так и напиши: «источника нет».
Не придумывай ссылки.

Дальше открой каждую ссылку. Не просто посмотри, что она есть, а найди на странице то, что нейросеть приписала. Выдуманные ссылки бывают двух видов: страница не открывается вообще, или открывается, но там совсем про другое. Второй вид коварнее.

Если нейросеть сама написала «источника нет», это хороший честный ответ. Значит, сверять придётся в другом месте.

Проверка 2. Перепроси по-другому

Выдумку трудно повторить одинаково. Правда стабильнее.

Открой новый чат (не этот же, а новый, чтобы нейросеть не видела свой прошлый ответ) и задай тот же вопрос другими словами. Например, было «Какие льготы на транспортный налог для пенсионеров?», стало «Пенсионерам надо платить транспортный налог? Какие исключения?».

Сравни два ответа. Цифры, даты, названия совпали, это ещё не доказательство, но уже хорошо. Разошлись, значит минимум один ответ выдуман. Сверяй в официальном месте из таблицы.

Проверка 3. Попроси её найти свои слабые места

Перечитай свой предыдущий ответ как строгий проверяющий.
1. Выпиши все конкретные утверждения: цифры, даты, имена, названия, цитаты, номера законов.
2. Для каждого оцени: уверена / не уверена / могла выдумать. Объясни одной строкой почему.
3. Отдельно напиши, какие сведения могли устареть и на какую дату ты знаешь эту тему.
Не защищай свой ответ, ищи в нём ошибки.

Так нейросеть часто сама признаётся, где угадывала. Всё, что попало в «не уверена» и «могла выдумать», проверяй руками или выбрасывай.

Проверка 4. Смотри на цифры, имена, даты и цитаты

Нейросеть почти не ошибается в общих рассуждениях, а ошибается в мелких точных вещах. Глазами пробегись по ответу и обведи (мысленно или маркером):

• цифры: суммы, проценты, сроки в днях
• имена людей и названия организаций
• даты и годы
• цитаты в кавычках: «как сказал...», «в исследовании говорится...»
• номера: законов, статей, пунктов, телефонов, артикулов

Это зона риска. Если в ответе на важный вопрос что-то из списка не сверено, ответ не готов.

Отдельный звоночек: слишком удобная деталь. Исследование, которое ровно подтверждает твою мысль. Цитата, которая идеально подходит в пост. Знаменитость, которая будто бы сказала именно то, что нужно. Такие подарки проверяй в первую очередь.

Проверка 5. Дай ей документ вместо памяти

Если у тебя есть первоисточник (договор, инструкция, закон, статья), не спрашивай нейросеть «из головы». Загрузи документ и попроси отвечать только по нему, с цитатами. Так советует и Anthropic в документации: сначала попросить дословные цитаты из текста, а потом уже ответ.

Ответь на вопрос только по документу, который я загрузила. Ничего не добавляй из общих знаний.
Сначала выпиши дословные цитаты из документа, которые относятся к вопросу.
Потом ответь, опираясь только на эти цитаты.
Если в документе ответа нет, напиши: «В документе этого нет».

Вопрос: [твой вопрос]

Для этого удобен NotebookLM (теперь называется Gemini Notebook): он отвечает по загруженным документам и показывает, откуда взял. Как им пользоваться, в уроке по слову БЛОКНОТ.

И цитаты потом найди в документе через Ctrl+F. Бывает, что нейросеть «цитирует» близко к тексту, но не дословно, и смысл уже другой.

Где обычно ломается

Нейросеть извиняется и даёт новую выдумку. Ты говоришь «такого закона нет», она отвечает «простите, вы правы, правильный закон номер...» и называет другой, тоже несуществующий. Не дави на неё до правильного ответа, иди в официальный источник. Нейросеть, которая не знает, от твоего нажима знать не начнёт.

Ссылка открывается, значит всё верно. Нет. Открой и найди нужное место. Нейросеть может дать настоящий сайт налоговой и приписать ему то, чего там нет.

Нейросеть с поиском в интернете не врёт. Врёт реже, но пересказ может исказить. В справке Anthropic про это прямо: когда Claude ищет в интернете, проверяй исходные источники, при пересказе теряются детали и контекст.

Спросила «ты уверена?», она сказала «да». Этот вопрос ничего не проверяет. Она может уверенно подтвердить и выдумку. Пользуйся проверками 1-5, они работают.

Ответ про налоги или лекарства «очень похож на правду». Именно поэтому опасен. В этих темах сверка обязательна всегда, даже если ответ выглядит идеально и совпадает с тем, что ты и так думала.

Что дальше

Когда знаешь, где нейросеть ошибается, работать с ней спокойнее: не веришь на слово, но и не боишься. Если хочешь разобраться, как с Claude делать обычные дела каждый день, писать, считать, разбирать документы, проверять ответы и не тратить на это вечер, есть «Claude с нуля, 7 уроков». Там это по шагам, без кода и без терминов

Источники

1. https://help.openai.com/en/articles/8313428-does-chatgpt-tell-the-truth
2. https://openai.com/index/why-language-models-hallucinate/
3. https://support.claude.com/en/articles/8525154-claude-is-providing-incorrect-or-misleading-responses-what-s-going-on
4. https://docs.claude.com/en/docs/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
5. https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2022cv01461/575368/54/
6. https://www.nalog.gov.ru/rn77/fl/
7. https://grls.rosminzdrav.ru/
8. https://cbr.ru/finorg/
9. http://pravo.gov.ru/

Ещё уроки