Маркування даних

Визначення

Маркування даних – це процес призначення категорій, тегів або атрибутів необробленим даним, щоб моделі машинного навчання могли навчатися на їх основі. Це є центральним елементом навчання з учителем.

Мета

Мета полягає в тому, щоб зробити необроблені набори даних придатними для навчання та оцінювання. Мітки надають «відповіді», необхідні моделям під час навчання.

Значення

• Критично важливо для побудови точних моделей машинного навчання з контрольованим керуванням.
• Неякісне маркування знижує надійність системи.
• Часто трудомістке та дороговартісне.
• Потрібна експертиза в таких галузях, як медицина або юриспруденція.

Як це працює

1. Визначте завдання та позначте схему.
2. Сегментуйте необроблені дані на одиниці (зображення, речення, аудіокліпи).
3. Призначайте мітки вручну або за допомогою напівавтоматичних інструментів.
4. Виконуйте перевірки якості та тести узгодження між анотаторами.
5. Експорт позначених наборів даних для навчання.

Приклади (реальний світ)

• Shaip: дані маркування для автономних транспортних засобів.
• Набори даних Kaggle: позначено для змагань з машинного навчання.
• Набори даних радіологічних зображень: марковані медичними експертами.

Література / Додаткова література

• Анотація даних для ШІ — NIST.
• Анотування та маркування наборів даних — IEEE Transactions on Data Engineering.
• ISO/IEC 24617: Структура семантичних анотацій — ISO.
• Що таке маркування даних? Все, що потрібно знати новачкові – Shaip