Навчання з підкріпленням на основі зворотного зв’язку людини (RLHF)

Визначення

Навчання з підкріпленням на основі людського зворотного зв'язку (RLHF) – це метод узгодження моделей штучного інтелекту з людськими цінностями шляхом включення людських суджень у процес навчання. Він часто використовується для точного налаштування моделей великих мов.

Мета

Мета полягає в тому, щоб зробити результати ШІ безпечнішими, кориснішими та узгодженими з людськими вподобаннями. RLHF покращує розмовні системи, зменшуючи шкідливі, упереджені або недоречні відповіді.

Значення

• Забезпечує людський нагляд за навчанням ШІ.
• Підвищує довіру до систем штучного інтелекту.
• Трудомісткий через потреби в анотаціях від людини.
• Пов'язано з моделюванням уподобань та дослідженням вирівнювання.

Як це працює

1. Збирайте відгуки людей та порівнюйте результати моделі.
2. Навчіть модель винагороди на людських уподобаннях.
3. Використовуйте навчання з підкріпленням для точного налаштування базової моделі.
4. Оцініть ефективність відповідно до цілей вирівнювання.
5. Повторіть з додатковим зворотним зв'язком.

Приклади (реальний світ)

• OpenAI ChatGPT: точно налаштовано з RLHF для безпечніших відповідей.
• Конституційний ШІ від Anthropic: керується принципами, а не прямим зворотним зв'язком.
• InstructGPT: рання модель OpenAI, що демонструє RLHF.

Література / Додаткова література

• Крістіано та ін. «Глибоке навчання з підкріпленням на основі людських уподобань». NeurIPS 2017.
• Документ OpenAI InstructGPT.
• Структура управління ризиками NIST для штучного інтелекту.
• Що таке навчання з підкріпленням із зворотним зв’язком людини (RLHF)?