Контрольована точна настройка (SFT)

Визначення

Контрольоване точне налаштування (SFT) – це процес навчання попередньо навченої моделі на позначених даних для конкретного завдання, коригуючи всі або частину її параметрів.

Мета

Мета полягає в адаптації моделей загального призначення до спеціалізованих завдань з підвищеною точністю.

Значення

• Базова техніка в НЛП та завдання зору.
• Потрібні високоякісні марковані дані.
• Ризики надмірного налаштування для малих наборів даних.
• Часто є попередником RLHF.

Як це працює

1. Виберіть попередньо навчену модель.
2. Зберіть позначені дані для цільового завдання.
3. Навчіть модель за допомогою контрольованого навчання.
4. Перевірте на затриманому тестовому наборі.
5. Розгортання та моніторинг продуктивності.

Приклади (реальний світ)

• GPT налаштовано на розмови з клієнтами.
• BERT налаштовано для розпізнавання іменованих сутностей.
• Трансформатори зору, точно налаштовані на класифікацію медичних зображень.

Література / Додаткова література

• Девлін та ін. «BERT: Попереднє навчання глибоких двонаправлених трансформаторів». NAACL 2019.
• Документація до фільму "Обіймаючі обличчя" про Трансформерів.
• Стенфорд CS224N: НЛП з глибоким навчанням.
• Що таке SFT? Чому це важливо?