У наших зусиллях щодо створення надійних та неупереджених рішень на основі штучного інтелекту, доречно зосередитися на навчанні моделей на неупередженому, динамічному та репрезентативному асортименті даних. Наш процес збору даних надзвичайно важливий для розробки надійних рішень на основі штучного інтелекту. У цьому відношенні збір даних для навчання ШІ за допомогою краудворкерів стає критичним аспектом стратегії збору даних.
У цій статті давайте розглянемо роль краудворкерів, їх вплив на розробку алгоритмів навчання штучного інтелекту та моделей машинного навчання, а також необхідність та переваги, які вони надають усьому процесу.
Чому крауд-працівникам потрібно створювати моделі ШІ?
Як люди, ми генеруємо величезні обсяги даних, проте лише частина цих згенерованих та зібраних даних має цінність. Через відсутність стандартів бенчмаркінгу даних більшість зібраних даних є або упередженими, мають проблеми з якістю, або не репрезентативними для навколишнього середовища. Оскільки розробляється все більше моделей машинного та глибокого навчання, які працюють з величезними обсягами даних, дедалі більше відчувається потреба в кращих, новіших та різноманітніших наборах даних.
Саме тут у гру вступають працівники натовпу.
Краудсорсинг даних — це створення набору даних за участю великих груп людей. Працівники натовпу вливають людський інтелект у штучний інтелект.
Платформи краудсорсингу надають мікрозавдання зі збору даних та анотацій великій та різноманітній групі людей. Краудсорсинг дозволяє компаніям отримати доступ до величезної, динамічної, економічно ефективної та масштабованої робочої сили.
Найпопулярніша краудсорсингова платформа – Amazon Mechanical Turk, змогла зібрати 11 тисяч діалогів між людьми протягом 15 годин, і вона виплачувала працівникам 0.35 долара за кожен успішний діалог. Краудворкерів залучають за таку мізерну суму, що проливає світло на важливість формування етичних стандартів пошуку даних.
Теоретично це звучить як розумний план, але реалізувати його нелегко. Анонімність крауд-працівників породила проблеми з низькою оплатою праці, зневагою до прав працівників і низькою якістю роботи, що впливає на продуктивність моделі ШІ.
Переваги використання крауд-воркерів для отримання даних
Залучаючи різноманітну групу крауд-воркерів, розробники рішень на основі штучного інтелекту можуть розподіляти мікрозавдання та збирати різноманітні та широкі спостереження швидко та за відносно низьку вартість.
Деякі з помітних переваг використання крауд-працівників для проектів ШІ
Швидший вихід на ринок: Згідно з дослідженням Cognilytica, майже 80% часу проектів зі штучного інтелекту витрачається на заходи зі збору даних, такі як очищення даних, маркування та агрегування. Лише 20% часу витрачається на розробку та навчання. Традиційні бар'єри для генерування даних усуваються, оскільки велику кількість учасників можна залучити за короткий час.
Економічно ефективне рішення: краудсорсинговий збір даних зменшує час та зусилля, витрачені на навчання, рекрутинг та залучення персоналу. Це позбавляє від витрат, часу та ресурсів, оскільки робоча сила працює за методом оплати за завдання.
Підвищує різноманітність набору даних: Різноманітність даних є критично важливою для навчання всього рішення штучного інтелекту. Щоб модель давала неупереджені результати, її необхідно навчати на різноманітному наборі даних. Завдяки краудсорсингу даних можна генерувати різноманітні (географічні, мовні, діалектні) набори даних з мінімальними зусиллями та витратами.
Підвищує масштабованість: Коли ви наймаєте надійних краудворкерів, ви можете забезпечити високоякісний збір даних, який можна масштабувати відповідно до потреб вашого проекту.
Внутрішні проти краудсорсингу – хто вийде переможцем?
| Внутрішні дані | Краудсорсингові дані |
|---|---|
| Точність і послідовність даних можна гарантувати. | Якість, точність і послідовність даних можна підтримувати, якщо використовувати надійні краудсорсингові платформи зі стандартними заходами контролю якості |
| Внутрішнє джерело даних не завжди є практичним рішенням, оскільки ваша внутрішня команда може не відповідати вимогам проекту. | Різноманітність даних може бути забезпечена, оскільки є можливість залучити гетерогенну групу крауд-працівників на основі потреб проекту. |
| Дорого набирати та навчати працівників для потреб проекту. | Економічне рішення для збір даних оскільки можна набирати, навчати та адаптувати працівників з меншими інвестиціями. |
| Час виходу на ринок довгий, оскільки власний збір даних займає значний час. | Час виходу на ринок значно менший, оскільки багато внесків надходять швидко. |
| Невелика група власних авторів і етикетників | Велика і різноманітна група співавторів і етикетки даних |
| Конфіденційність даних дуже висока завдяки власній команді. | Конфіденційність даних важко підтримувати під час роботи з великими крауд-працівниками по всьому світу. |
| Легше відстежувати, навчати та оцінювати збирачів даних | Складно відстежувати та навчати збирачів даних. |
Подолання розриву між працівниками краудсорсингу та запитувачем.
Спостерігається явна відсутність інформації з боку запитувача, оскільки працівникам надається лише інформація щодо конкретного завдання. Наприклад, хоча працівникам дають мікрозавдання, такі як запис діалогів рідною діалектною мовою, їм рідко надають контекст. Вони не мають необхідної інформації про те, чому вони роблять те, що роблять, і як найкраще це зробити. Ця відсутність інформації впливає на якість роботи, виконаної за допомогою краудсорсингу.
Для людини повний контекст забезпечує ясність і мету її роботи.
Додайте до цієї суміші ще один вимір NDA – угоди про нерозголошення, які обмежують кількість інформації, яку надають крауд-працівники. З точки зору крауд-працівника, це вилучення інформації свідчить про відсутність довіри та зменшення важливості для їхньої роботи.
Якщо розглянути ту саму ситуацію з іншого боку, то спостерігається брак прозорості з боку працівника. Замовник не повністю розуміє працівника, якому доручено виконати роботу. Деякі проекти можуть вимагати певного типу працівника; проте в більшості проектів існує неоднозначність. Насправді це може ускладнити оцінювання, зворотний зв'язок та навчання в майбутньому.
Щоб подолати ці труднощі, важлива робота з експертами зі збору даних, які мають досвід надання різноманітних, підібраних і добре представлених даних від широкого кола учасників.
Вибір Shaip як партнера з обробки даних може мати багато переваг. Ми зосереджуємося на різноманітності та репрезентативному розподілі даних. Наші досвідчені та віддані своїй справі співробітники розуміють обов’язковість кожного проекту та розробляють набори даних, які можуть миттєво підготувати надійні рішення на основі ШІ.
[Читайте також: Посібник для початківців з даних для навчання ШІ: визначення, приклад, набори даних ]
