Термин
Галлюцинации
Уверенно выдуманный ответ: нейросеть не признаётся, что не знает, а сочиняет правдоподобное.
Нейросеть предсказывает продолжение текста, а не сверяется с базой фактов. Если данных не хватает, она всё равно выдаёт связный ответ — и он может быть выдумкой.
Опаснее всего галлюцинации в мелочах: номера статей законов, даты, фамилии, названия функций, цены. Всё это звучит убедительно и требует проверки.
Лечится тремя приёмами: просить указывать источники, давать материал самому (документ, статью) вместо «расскажи по памяти», и прямо разрешать ответ «не знаю».
Пример
Спросите про закон или книгу, которых не существует, — нейросеть, скорее всего, «вспомнит» подробности. Это и есть галлюцинация.
Частое заблуждение
Думать, что платная версия не галлюцинирует. Она ошибается реже, но проверять важные факты нужно в любой.