Успіх будь-якої моделі штучного інтелекту залежить від якості даних, що надходять у систему. Системи машинного навчання працюють з великими обсягами даних, але не можна очікувати, що вони працюватимуть з будь-якими даними. Це повинні бути високоякісні дані для навчання ШІ . Якщо результат моделі ШІ має бути автентичним і точним, само собою зрозуміло, що дані для навчання системи повинні відповідати високим стандартам.
Дані, на яких навчаються моделі штучного інтелекту та машинного навчання, мають бути високоякісними, щоб бізнес міг отримати з них значущу та актуальну інформацію. Тим не менш, отримання величезних обсягів неоднорідних даних є проблемою для компаній.
Компанії повинні покладатися на таких постачальників, як Shaip, які впроваджують суворі заходи щодо управління якістю даних у своїх процесах, щоб протистояти цій проблемі. Крім того, у Shaip ми також здійснюємо постійну трансформацію наших систем, щоб відповідати викликам, що розвиваються.
Вступ до управління якістю даних Shaip
У Shaip ми розуміємо важливість надійних навчальних даних і їхню роль у розробці моделей машинного навчання та результатів рішень на основі ШІ. Окрім перевірки навичок наших працівників, ми однаково зосереджені на розвитку їх бази знань та особистому розвитку.
Ми дотримуємося суворих інструкцій і стандартних операційних процедур, які впроваджуються на всіх рівнях процесу, щоб наші навчальні дані відповідали стандартам якості.
Управління якістю
Наш робочий процес управління якістю відіграв важливу роль у створенні моделей машинного навчання та ШІ. Завдяки зворотному зв’язку наша модель управління якістю є науково перевіреним методом, який допоміг успішній реалізації кількох проектів для наших клієнтів. Наш процес аудиту якості відбувається таким чином.
- Перегляд договору
- Створіть контрольний список аудиту
- Джерела документів
- 2-рівневий аудит джерел
- Модерація тексту анотації
- Анотація 2-рівневий аудит
- Здача робіт
- Відгуки клієнтів
Відбір і адаптація співробітників Crowdsource
Наш суворий відбір працівників і процес адаптації відрізняють нас від решти конкурентів. Ми беремо на себе ретельний процес відбору, щоб залучити до роботи лише найкваліфікованіших анотаторів на основі контрольного списку якості. Ми вважаємо:
- Попередній досвід роботи текстовим модератором, щоб переконатися, що їхні навички та досвід відповідають нашим вимогам.
- Результативність попередніх проектів для забезпечення їхньої продуктивності, якості та продуктивності відповідала потребам проекту.
- Обов’язкова умова для вибору конкретного працівника в конкретну галузь – знання предметної галузі.
На цьому наш процес відбору не закінчується. Ми піддаємо працівників тесту зразка анотації, щоб перевірити їхню кваліфікацію та продуктивність. Вони будуть відібрані на основі ефективності під час випробування, аналізу розбіжностей, запитань і відповідей.
Після того, як працівників буде відібрано, вони пройдуть ретельне навчання з використанням проекту SOW, інструкцій, методів вибірки, навчальних посібників тощо залежно від потреб проекту.
Контрольний список збору даних
Впроваджуються дворівневі перевірки якості, щоб забезпечити передачу лише високоякісних навчальних даних наступній команді.
Рівень 1: Перевірка якості
Команда QA Shaip проводить перевірку якості 1 рівня для збору даних. Вони перевіряють усі документи, і вони швидко перевіряються на необхідні параметри.
Рівень 2: Критична перевірка аналізу якості
Команда CQA, що складається з авторитетних, досвідчених і кваліфікованих спеціалістів, оцінить решту 20% ретроспективних зразків.
Деякі пункти контрольного списку якості джерела даних включають:
- Чи є джерело URL-адреси автентичним і чи дозволяє воно копіювати дані?
- Чи є різноманітність у вибраних URL-адресах, щоб можна було уникнути упередженості?
- Чи вміст перевірено на релевантність?
- Чи містить вміст категорії модерації?
- Чи охоплено пріоритетні домени?
- Чи тип документа отримано з урахуванням розподілу типів документів?
- Чи кожен клас модерації містить плиту мінімального об’єму?
- Чи дотримується процес зворотного зв’язку в циклі?
Контрольний список анотації даних
Подібно до збору даних, ми також маємо два рівні контрольного списку якості для анотації даних.
Рівень 1: Перевірка якості
Цей процес гарантує, що 100% документів правильно перевірено на відповідність параметрам якості, встановленим командою та клієнтом.
Рівень 2: Критична перевірка аналізу якості
Цей процес гарантує, що від 15 до 20% ретроспективних зразків також перевірено та гарантовано якість. Цей крок виконує кваліфікована та досвідчена команда CQA з принаймні 10-річним досвідом управління якістю та володарями чорного поясу.
- Послідовність у модерації текстів користувачами
- Перевірка використання правильних фраз і класів модерації для кожного документа
- Перевірка метаданих
Ми також надаємо щоденний зворотний зв'язок на основі аналізу Парето , щоб переконатися, що їхня продуктивність відповідає вимогам клієнта.
Ми застосували ще один рівень аналізу продуктивності, щоб зосередитися на найменш ефективних анотаторах за допомогою керування нижнім квартилем. Перед остаточною доставкою ми також гарантуємо, що гігієнічні перевірки зразків завершено.
Параметр Поріг
Залежно від інструкцій проекту та вимог клієнта ми маємо поріг параметрів від 90 до 95%. Наша команда оснащена та має досвід для застосування будь-якого з наведених нижче методів для забезпечення вищих стандартів управління якістю.
- F1 Score або F Measure – для оцінки ефективності двох класифікаторів – 2* ((Точність * Відкликання)/ (Точність + Пригадування))
- DPO або метод дефектів на можливість обчислюється як відношення дефектів до можливостей.
Зразок контрольного списку аудиту
Зразок контрольного списку аудиту Shaip — це повна процедура налаштування, яку можна адаптувати відповідно до вимог проекту та клієнта. Його можна змінити на основі відгуків, отриманих від клієнта, і завершити після ретельного обговорення.
- Перевірка мови
- Перевірка URL-адреси та домену
- Перевірка різноманітності
- Обсяг на мову та клас модерації
- Цільові ключові слова
- Тип документа та актуальність
- Перевірка токсичної фрази
- Перевірка метаданих
- Перевірка узгодженості
- Перевірка класу анотації
- Будь-які інші обов'язкові перевірки за бажанням клієнта
Ми вживаємо суворих заходів для підтримки стандартів якості даних, оскільки розуміємо, що всі моделі на основі штучного інтелекту керуються даними. А наявність високоякісних навчальних даних є необхідною умовою для всіх моделей штучного інтелекту та машинного навчання. Ми розуміємо критичну важливість якісних навчальних даних та їхню важливість для продуктивності та успіху ваших моделей штучного інтелекту.
