- Збір даних: Моє навчання почалося з різноманітного тексту в Інтернеті. Проте я маю зауважити, що, хоча я навчався на широкому наборі даних, я не знаю, які саме документи були частиною цього навчального набору, і не маю доступу до будь-яких конкретних документів чи джерел.
- Початкове навчання (попереднє навчання): Тут я навчився передбачати наступне слово в реченні. Я не почав знати англійську чи іншу мову. Натомість, передбачаючи наступне слово в мільйонах речень, я поступово дізнавався про граматику, факти про світ і деякі здібності міркувати. Однак це також означає, що я міг дізнатися з упередженої або неправильної інформації, оскільки дані не були ретельно відфільтровані.
- Точне налаштування: Після початкового навчання мої творці з OpenAI надали подальші вказівки з більш конкретним набором даних, створеним за допомогою рецензентів. Ці рецензенти дотримуються вказівок щодо перегляду та оцінювання можливих вихідних даних моделі для ряду прикладів вхідних даних. Процес тонкого налаштування — це свого роду діалог між моделлю та рецензентами, який допомагає мені краще узгоджуватися з людськими цінностями.
- Постійне навчання: Хоча я не вчуся на окремих взаємодіях з міркувань конфіденційності, OpenAI постійно співпрацює з командою рецензентів, щоб надавати відгуки та вносити ітераційні вдосконалення на основі ширших шаблонів і ідей.
- Приклад попереднього навчання: Припустимо, у нас є речення «Кіт сів на __». На етапі попереднього навчання така модель, як я, навчиться передбачати наступне слово в реченні, яким може бути «циновка», «дах» або «дерево». Це вивчається шляхом обробки мільярдів речень із різноманітних інтернет-текстів, опосередковано залучаючи людську взаємодію під час створення оригінального вмісту.
- Приклад тонкого налаштування: Після фази попереднього навчання модель переходить у фазу тонкого налаштування. Ось як це може працювати:
Рецензент отримує завдання переглянути можливі вихідні дані моделі для введення, наприклад «Перекладіть наступний текст англійською мовою французькою: «Привіт, як справи?»». Модель може генерувати кілька відповідей на зразок «Bonjour, comment ça va?» або «Salut, comment vas-tu?» тощо
Рецензент оцінює ці відповіді на основі таких факторів, як точність, плавність і відповідність. Ці рейтинги допомагають моделі узагальнювати та реагувати на подібні вхідні дані в майбутньому.
Пам’ятайте, що наведені тут приклади спрощені для ілюстрації процесу. Фактичне навчання включає складні алгоритми та величезні обсяги даних.
- Різноманітність даних: Справа не лише в обсязі даних, а й у різноманітності. Дані мають бути різноманітними, щоб охоплювати широкий спектр тем, стилів і тонів людської мови.
- Якість даних: Якість даних, що використовуються для навчання, також може вплинути на ефективність навчання моделі. Краща якість даних потенційно може зменшити обсяг, необхідний для ефективного навчання.
- Архітектура моделі: Архітектура моделі (наприклад, кількість шарів або параметрів у нейронній мережі) також може впливати на те, скільки даних потрібно. Більші моделі, наприклад GPT-3 або GPT-4, зазвичай вимагають більше даних, ніж менші моделі.
- Цілі навчання: Тип завдань, для виконання яких призначена модель, може впливати на обсяг необхідних даних. Модель, розроблена для конкретного завдання, може вимагати менше даних, якщо вона добре націлена, тоді як модель загального призначення, як-от GPT-3 або GPT-4, розроблена для вирішення широкого кола завдань, потребуватиме більше даних для ширшого розуміння.
У випадку GPT-3, наприклад, модель має 175 мільярдів параметрів і була навчена на сотнях гігабайт тексту. Але ці цифри не повністю відображають складність процесу. Специфіка процесу навчання, включаючи точний обсяг використаних даних, є конфіденційною інформацією OpenAI та подібних організацій.
- Почніть з малого: Особливо для простих задач або початкових прототипів моделі може бути достатнім менший набір даних. Наприклад, якщо ви створюєте базовий класифікатор зображень, ви можете почати з кількох сотень чи тисяч зображень на категорію.
- Зверніть увагу на складність: Складніші проблеми зазвичай вимагають більше даних. Якщо ви розробляєте модель глибокого навчання або працюєте зі складною проблемою, як-от обробка природної мови, вам можуть знадобитися мільйони точок даних.
- Якість над кількістю: Якісні релевантні дані часто можуть бути більш корисними, ніж величезна кількість неякісних даних. Дуже важливо переконатися, що ваші дані належним чином очищені, анотовані та відповідають проблемі, яку ви намагаєтеся вирішити.
- Збалансуйте свої класи: Для контрольованих навчальних завдань переконайтеся, що є хороший баланс прикладів для кожного класу. Незбалансований набір даних може призвести до того, що модель буде погано працювати на недостатньо представлених класах.
- Використовуйте набори перевірки та тестування: Частину вашого набору даних слід відкласти для перевірки (настроювання параметрів моделі) і тестування (оцінки ефективності моделі). Загальні розподіли можуть становити 70% даних для навчання, 15% для перевірки та 15% для тестування, хоча ці пропорції можуть відрізнятися.
- Експериментуйте та повторюйте: Почніть із початкового обсягу даних, навчіть свою модель, оцініть її продуктивність і послідовно додайте більше даних, налаштуйте свою модель або покращте якість даних на основі результатів.
Пам’ятайте, що більше даних зазвичай покращує продуктивність моделей машинного навчання, але лише до певної міри. Після певного моменту збір додаткових даних може зайняти більше часу та витрат, ніж це коштує, і може бути корисніше зосередитися на покращенні якості даних або вдосконаленні архітектури моделі.
- Попередня підготовка: На цьому етапі модель піддається впливу великої кількості текстових даних Інтернету. Ці дані явно не анотовані, але модель навчена передбачати наступне слово в реченні. Це дає моделі загальне розуміння граматики, фактів про світ і деякі здібності міркувати.
- Тоне налаштування: Після попереднього навчання модель удосконалюється на більш вузькому наборі даних, створеному за допомогою рецензентів. Ці рецензенти дотримуються вказівок OpenAI, щоб перевірити та оцінити можливі вихідні дані моделі для ряду вхідних даних. У цьому сенсі процес тонкого налаштування можна розглядати як форму анотації, де рецензенти керують відповідями моделі, допомагаючи їй краще узгоджуватися з людськими цінностями та гарантуючи, що вона уникає неприйнятного або небезпечного вмісту.
Таким чином, хоча початковий набір даних, який використовується для попереднього навчання, не анотований у традиційному розумінні, процес тонкого налаштування передбачає певну форму анотації, коли рецензенти керують поведінкою моделі, оцінюючи різні результати.
Правильність: Рецензенти оцінюють, чи є вихідні дані моделі фактично правильними.
приклад:
Відповідність: Вихідні дані моделі оцінюються на предмет їхньої відповідності відносно заданих вхідних даних.
приклад:
Безпека: Вихідні дані перевіряються на наявність шкідливих інструкцій або образливої мови.
приклад:
Повнота: Цей показник оцінює, чи повністю відповідь моделі відповідає запиту користувача.
приклад:
Плавність: Рецензенти перевіряють, чи є результат моделі лінгвістично плавним та зв'язним.
приклад:
Ці категорії є лише прикладами. Фактичний процес тонкого налаштування передбачає більш складну систему оцінювання та постійний зворотний зв’язок між рецензентами та командою розробників ШІ. Мета цих анотацій — зробити відповіді моделі більш корисними, безпечними та відповідними людським цінностям.
OpenAI, організація, що стоїть за ChatGPT, публічно не розголошує точну кількість рецензентів, залучених до процесу тонкого налаштування. Однак, враховуючи масштаб і складність навчання такої великої мовної моделі, можна з упевненістю сказати, що процес, ймовірно, включає значну команду рецензентів.
Ці перевіряючі люди дотримуються вказівок, наданих OpenAI, щоб перевірити та оцінити можливі результати моделі. Це безперервний ітеративний процес, у якому відгуки рецензентів використовуються для покращення та вдосконалення моделі з часом. OpenAI підтримує надійний зв’язок із рецензентами, включаючи щотижневі зустрічі для вирішення питань і надання роз’яснень.
- Складність завдання: Прості завдання, як-от позначення зображень або категоризація тексту, займуть менше часу на PDF, що дозволить одному анотатору обробляти більше файлів. З іншого боку, складні завдання, як-от детальне вилучення об’єктів або семантичний аналіз, потребуватимуть більше часу на документ, а отже, більше анотаторів для того самого обсягу PDF-файлів.
- Довжина та складність PDF-файлів: Довший або складніший PDF потребує більше часу для анотації, ніж коротший або простіший.
- Вимоги до якості: Якщо потрібна висока точність, може знадобитися кілька анотаторів для кожного PDF-файлу для перехресної перевірки анотацій.
- Часові обмеження: Якщо анотації потрібно завершити швидко, знадобиться більше анотаторів.
Як гіпотетичний приклад, припустімо, що анотатор може коментувати 5 PDF-файлів на день для певного завдання та працює 5 днів на тиждень. У цьому випадку, щоб анотувати 10,000 2000 PDF-файлів, одному анотатору знадобиться 8 днів або приблизно XNUMX років.
Однак, якби у вас була команда з 20 анотаторів, вони могли б виконати завдання приблизно за 5 місяців (за умови 20 робочих днів на місяць). Зі 100 анотаторами те саме завдання можна було б виконати приблизно за місяць.
Пам’ятайте, що ці цифри є виключно ілюстративними, і фактична швидкість анотації залежатиме від факторів, згаданих вище. Крім того, належне навчання анотаторів і послідовний контроль якості є критично важливими для успіху будь-якого великомасштабного проекту анотації.
