Якщо ви розробляєте рішення ШІ, час виходу вашого продукту на ринок значною мірою залежить від своєчасної доступності якісних наборів даних для цілей навчання. Лише коли у вас є потрібні набори даних, ви починаєте процеси навчання моделей, оптимізуєте результати та готуєте своє рішення до запуску.
І знаєте, своєчасне отримання якісних наборів даних є надзвичайно складним завданням для підприємств будь-якого розміру та масштабу. Для тих, хто не знайомий з цим, близько 19% підприємств повідомляють, що саме брак даних обмежує їх у впровадженні рішень на основі штучного інтелекту.
Ми також повинні розуміти, що навіть якщо вам вдасться згенерувати релевантні та контекстуальні дані, анотування даних саме по собі є викликом. Це займає багато часу та вимагає відмінного володіння майстерністю та уваги до деталей. Близько 80% часу розробки ШІ витрачається на анотування наборів даних.
Тепер ми не можемо просто повністю виключити процеси анотації даних із наших систем, оскільки вони є основою навчання ШІ. Ваші моделі не дадуть результатів (не кажучи вже про якісні результати), якщо в руках немає анотованих даних. Наразі ми обговорили безліч тем про виклики на основі даних, методи анотацій тощо. Сьогодні ми обговоримо інший важливий аспект, який стосується самого маркування даних.
У цій публікації ми розглянемо два типи методів анотації, які використовуються у всьому спектрі, а саме:
- Ручне маркування даних
- І автоматичне маркування даних
Ми проллємо світло на відмінності між ними, чому ручне втручання є ключовим, і які ризики пов'язані з автоматичним маркуванням даних.
Ручне маркування даних
Як випливає з назви, ручне маркування даних залучає людей. Експерти з анотації даних беруть на себе відповідальність за тегування елементів у наборах даних. Під експертами ми маємо на увазі малі та середні підприємства та органи домену, які точно знають, що анотувати. Ручний процес починається з надання анотаторам необроблених наборів даних для анотації. Набори даних можуть являти собою зображення, відеофайли, аудіозаписи або стенограми, тексти або їх поєднання.
На основі проектів, необхідних результатів і специфікацій анотатори працюють над анотуванням відповідних елементів. Експерти знають, яка техніка найбільше підходить для конкретних наборів даних і цілей. Вони використовують правильну техніку для своїх проектів і вчасно надають набори даних, які можна навчати.
Хоча маркування вручну є лише частиною процесу, існує другий етап у робочому процесі анотації, який називається перевіркою якості та аудитом. При цьому анотовані набори даних перевіряються на автентичність і точність. Для цього компанії використовують метод консенсусу, коли кілька анотацій працюють на тих самих наборах даних для отримання одностайних результатів. Невідповідності вирішуються також у разі коментарів і позначення. У порівнянні з процесом анотації етап перевірки якості є менш напруженим і вимагає часу.
Автоматичне маркування даних
Отже, тепер ви розумієте, скільки ручних зусиль витрачається на маркування даних. Для рішень, які будуть використовуватися в таких секторах, як охорона здоров’я, точність і увага до деталей стають ще важливішими. Щоб прокласти шлях для швидшого маркування даних і доставки анотованих даних, моделі автоматичного маркування даних поступово стають помітними.
У цьому методі системи ШІ піклуються про анотування даних. Це досягається за допомогою або евристичних методів, або моделей машинного навчання, або обох. У евристичному методі окремий набір даних проходить через ряд попередньо визначених правил або умов для перевірки певної мітки. Умови створені людьми.
Хоча це ефективний метод, цей метод не працює, коли структури даних часто змінюються. Крім того, створення умов стає складним, щоб спонукати системи приймати обґрунтовані рішення. Хоча люди можуть відрізнити морозиво від лимонаду, ми не знаємо, який підхід використовує мозок, щоб розрізнити це. Відтворити це в машинах неможливо.
Це викликає низку занепокоєнь щодо якості результатів систем ШІ. Незважаючи на появу автоматизації, вам потрібна людина (або їх купа), щоб перевірити та виправити мітки даних. І це чудовий перехід до наступного розділу.
Анотація за допомогою штучного інтелекту: інтелект потребує розуму (гібридний підхід)
Для отримання найкращих результатів потрібен гібридний підхід. Хоча системи штучного інтелекту можуть подбати про швидке маркування, люди можуть перевірити результати та оптимізувати їх. Залишити весь процес анотації даних у руках машин може бути поганою ідеєю, і тому залучення людей до циклу є цілком доцільним.
Встановлюється баланс, і процес також може відбуватися економічно ефективним способом. Експерти могли б створити оптимізовані цикли зворотного зв’язку для машин, щоб виводити кращі етикетки, що зрештою зменшить потребу в ручних зусиллях. Завдяки значному збільшенню показників достовірності машин, якість мічених даних також може бути покращена.
Підводячи підсумок
Повністю автономні механізми маркування даних ніколи не працюватимуть – принаймні поки що. Нам потрібна гармонія між людиною та машинами у виконанні виснажливого завдання. Це також збільшує час доставки анотованих наборів даних, де компанії можуть безперешкодно розпочати фази навчання ШІ. А якщо ви шукаєте високоякісні набори даних для своїх моделей ШІ, зверніться до нас сьогодні.
