Галюцинація

Визначення

У штучному інтелекті галюцинація стосується випадків, коли модель генерує вихідні дані, які є плавними, але фактично неправильними або безглуздими. Це особливо поширено у моделях з великими мовами програмування та генеративному штучному інтелекті.

Мета

Вивчення галюцинацій допомагає підвищити надійність та безпеку моделі. Це дозволяє розробникам розробляти захисні механізми для виявлення та зменшення неточних результатів.

Значення

• Знижує довіру до ШІ, якщо це питання не вирішено.
• Може завдати шкоди в делікатних сферах, таких як охорона здоров'я чи правосуддя.
• Підкреслює обмеження сучасних генеративних моделей.
• Стимулює дослідження в галузі методів фактичного обґрунтування та пошуку інформації.

Як це працює

1. Модель отримує запит або підказку.
2. Генерує вихідні дані на основі вивчених шаблонів, а не перевірки фактів.
3. Може призвести до правдоподібних, але неправильних результатів.
4. Застосовуються методи виявлення та корекції (наприклад, RAG).

Приклади (реальний світ)

• ChatGPT іноді видає неправильні дані, коли з'являється запит.
• Початкова демонстрація Google Bard показала фактичні помилки.
• Медичні поради, згенеровані штучним інтелектом, іноді містять неточності.

Література / Додаткова література

• «Зменшення галюцинацій у великих мовних моделях» — препринт arXiv.
• Структура управління ризиками NIST для штучного інтелекту.
• Мітчелл та ін. «Модельні картки для модельної звітності». ACM FAccT.
• Причини галюцинацій ШІ