Масштабування фізичного ШІ та гуманоїдної робототехніки з використанням 5 тисяч годин на місяць даних про рух, що відображаються в симуляції до реальності
Як Shaip щомісяця надає 5,000 дійсних годин егоцентричних даних захоплення руху у віртуальній реальності для 1,500–2,500 учасників, 300–400 завдань та понад 50 різних налаштувань захоплення у шести типах середовищ.
Огляд проекту
Оскільки фізичний штучний інтелект та гуманоїдна робототехніка переходять у реальне впровадження, клієнту потрібна була масштабована платформа для збору 5,000 годин дійсних даних про рух у віртуальній реальності на місяць на основі завдань у різних середовищах з послідовним калібруванням, виконанням та забезпеченням якості (QA).
Shaip створив комплексний конвеєр операцій з даними, що охоплює налаштування сцени, QR-картографування, відстеження за п'ятьма датчиками, репетиції учасників, модерований зйомку та робочі процеси перевірки, для підтримки 300–400 завдань, визначених клієнтами, та надання готових до моделювання втілених наборів даних штучного інтелекту у великому масштабі.
Основна статистика
Учасники
1,500–2,500 за цикл
Обсяг даних
5,000 дійсних годин на місяць
Охоплення навколишнього середовища
Понад 50 налаштувань зйомки для офісу, вдома, на фабриці, в кафе, на складі, у фармацевтичній компанії тощо
Хронологія
Поточний місячний цикл
Виклики
- Масштабування збору даних про рух з контрольованих робочих процесів у стилі пілотних систем у періодичний процес 5,000 дійсних годин щомісячна програма.
- Підтримка стабільна точність відстеження у різноманітних реальних сценах та умовах участі учасників.
- Забезпечення відповідності кожної сесії суворим вимогам до подачі заявки контроль збірки та версій, налаштування спільної мережі, трансляція екрана та сполучення датчиків.
- управління 300-400 завдань, визначених клієнтом у таких категоріях, як пересування, маніпулювання об'єктами, взаємодія вдома, взаємодія в офісі та багатоетапні фізичні робочі процеси, кожен з яких вимагає правильного налаштування сцени, розміщення об'єктів, готовності учасників та перевірки під керівництвом модератора.
- Перетворення необроблених сесій у готові до моделі виходи завдяки повторюваній перевірці якості, обробці повторних здачі та робочим процесам перевірки завантажень.
Рішення
Стратегія збору
Шайп розробив систему збору даних, яка щомісяця надає 5,000 дійсних годин даних про рух віртуальної реальності партіями на основі етапів. Виходячи з коефіцієнта планування 3–5 учасників на 10 дійсних годин, кожен місячний цикл вимагає приблизно 1,500–2,500 учасників.
Управління середовищем та сценою
Середовища структуровані на двох рівнях. Шість основних типів середовищ — офіс, дім, фабрика, кафе, склад та фармацевтика — поділені на понад 50 різних умов зйомки, кожне з яких є певним фізичним місцем, таким як гостьова кімната, станція для приготування еспресо, складальний стіл або пакувальна лінія. Кожне середовище розглядається як структурована сцена. Shaip документує його за допомогою ширококутної фотографії кімнати, налаштовує сцени в системі адміністрування, координує відгуки клієнтів та експортує PDF-файли сцен для фізичного розміщення. QR-зв'язане зіставлення сцен гарантує, що кожне середовище можна надійно прив'язати до правильного контексту запису.
Готовність пристроїв та програм
Shaip стандартизує технічну готовність, забезпечуючи підключення VR-гарнітури та пристрою моніторингу до однієї мережі, контролюючи процес встановлення та оновлення збірки додатків, а також забезпечуючи трансляцію екрана через браузер для видимості модератора протягом усього сеансу.
Відстеження руху та калібрування
Перед кожним сеансом усі п'ять трекерів руху сполучаються та перевіряються. Калібрування є обов'язковим для кожного учасника, включаючи перевірку вирівнювання аватарів, налаштування підлоги та налаштування меж, щоб забезпечити точне захоплення рухів усього тіла в межах записуваного простору активності.
Виконання завдань та модерація
Учасники отримують інструкції з підготовки до конкретної сцени та репетиції перед записом. Модератори спостерігають за записом екрана, перевіряють точність завдання та чіткість рухів і переходять до живого запису лише тоді, коли поведінка датчиків та рухи учасників відповідають очікуванням щодо якості. Початок/зупинка запису виконується за допомогою визначеного робочого процесу жестів.
Забезпечення якості та готовність до моделювання
Після запису сесії завантажуються для перегляду. Shaip перевіряє чіткість руху, правильність завдання, вирівнювання сцени та точність датчиків, скасовуючи або повторно записуючи непридатні для використання записи за потреби. Це створює більш надійний шлях до наборів даних, готових до анотацій, перевірки якості та моделювання, для навчання втіленому штучному інтелекту та робототехніки.
Обсяг проекту
| Тип набору даних | Учасники | Гучність запису | Охоплення навколишнього середовища | Обсяг завдання | Налаштування захоплення | Хронологія |
|---|---|---|---|---|---|---|
| Егоцентричний VR-захоплення руху | 1,500–2,500 за цикл | 5,000 дійсних годин на місяць | Понад 50 налаштувань зйомки для офісу, вдома, кафе, фабрики, складу, фармацевтичної компанії та інших реальних середовищ | 300–400 завдань, визначених клієнтом | VR-гарнітура + 5 трекерів руху | Поточний місячний цикл |
Результат
- Створено масштабовану систему операцій з даними для 5,000 дійсні години на місяць фізичного ШІ дані навчання
- Стандартизований керування сценою, картографування на основі QR-кодів та калібрування п'яти датчиків у розподілених середовищах
- Покращена узгодженість колекцій завдяки модерована репетиція, перегляд відеозапису в режимі реального часу та контроль якості на рівні сесії
- включено перевірені завданнями, готові до анотацій виходи для подальшої розробки втіленого штучного інтелекту, моделювання та моделей робототехніки
- Зміцнив клієнта конвеєр симуляції-реальних даних з високоякісним егоцентричним захопленням руху з різноманітних реальних середовищ
Загалом, Shaip допоміг перетворити складну вимогу до захоплення віртуальної реальності на структурований, готовий до виробництва конвеєр даних — такий, що здатний підтримувати ініціативи фізичного штучного інтелекту, втіленого інтелекту та гуманоїдної робототехніки з більшою узгодженістю, відстежуваністю та масштабованістю.
Шайп допоміг нам створити основу для операцій з даними для нашої дорожньої карти фізичного штучного інтелекту. Його команда внесла структуру в захоплення руху в кількох середовищах, управління учасниками, налаштування сцени, калібрування та забезпечення якості, що дозволило нам створювати готові до моделювання набори даних, які підтримують навчання від симуляції до реальності для втіленого штучного інтелекту та гуманоїдної робототехніки.
