Розробка політики роботи з роботами, яка працює в реальному світі, більше не є комп'ютерною проблемою, а проблемою даних. Команди, що працюють з втіленим штучним інтелектом, мають три варіанти для підтримки своїх моделей: телеоперація, симуляція та відеозйомка з використанням живої природи. Кожен з них має різну криву витрат, різний профіль точності та різну стелю того, чого ваш робот зрештою може навчитися. Вибір неправильного первинного джерела може призвести до втрати шести місяців та семизначного бюджету, перш ніж ви це зрозумієте. У цьому посібнику розглядається кожне джерело даних для втіленого штучного інтелекту, де воно перемагає, де зазнає невдачі, та як поєднати їх у стратегію даних для навчання роботів виробничого рівня.
Ключові винесення
- Телеоперація забезпечує найточніші дані, але є вузьким місцем – 5–50 епізодів на оператор-годину.
- Моделювання генерує мільйони епізодів дешево, але створює розрив між симуляцією та реальністю, який не спрацьовує для завдань, що потребують багато контактів.
- Відео з людьми масштабується без зусиль, але не має позначок дій роботів та має прогалину у втіленні.
- Недавні дослідження показують, що приблизно 8 зразків моделювання забезпечують цінність 1 телекерованого зразка для завдань у межах предметної області.
- Більшість конвеєрів штучного інтелекту, що втілюються у виробництві, поєднують усі три джерела, а не вибирають одне одне.
Чому дані є вузьким місцем у втіленому ШІ?
Дані є вузьким місцем у втіленому ШІ, оскільки сенсомоторні дані, парні з діями, не існують у масштабі Інтернету. Мовна модель може поглинути трильйон текстових токенів, отриманих з Інтернету. Політика роботизованого робота потребує синхронізованих кутів суглобів, сил захоплення, кадрів камери та контексту завдання — все це записується під час фізичної маніпуляції. Нічого з цього не існує безкоштовно.
Розрив у масштабах разючий. У світі працює понад 3.9 мільйона промислових роботів (IFR World Robotics, 2024), проте найбільший відкритий набір даних про маніпуляції з роботами містить приблизно 1 мільйон епізодів (Open X-Embodiment, Padalkar et al., 2023). Апаратне забезпечення є скрізь; дані — ні. Кожне нове втілення — маніпулятор з однією рукою, бімануальний гуманоїд, мобільна база з рукою — фактично скидає вимоги до даних, оскільки політики, навчені на одному форм-факторі, рідко безперешкодно переносяться на інший.
Розрив у втіленні: Втрата продуктивності, яка виникає, коли політика, навчена на фізичній конфігурації одного робота, розгортається на іншому роботу.
Ось чому команди з навчання роботів тепер думають про стратегію даних, а не лише про збір даних. Правильне поєднання телеоперації, симуляції та людського відео визначає, що може робити ваша модель, як швидко вона буде доставлена та скільки ви витратите на її досягнення.
Що таке телеопераційні дані та коли вони перемагають?
Дані телеоперації записуються, коли оператор-людина керує роботом у режимі реального часу через провідну руку, гарнітуру віртуальної реальності, екзоскелет або інтерфейс, що кріпиться на зап'ястя, при цьому система синхронно реєструє кожен кут суглоба, показник сили та кадр камери.
Телеоперація: Керування роботом людиною в режимі реального часу із синхронізованими сенсомоторними даними, записаними під час маніпуляції.
Телеоперація виграє завдяки точності. Оскільки дані генеруються кваліфікованою людиною, яка виконує точне завдання на точному роботі, відповідність дії та стану є ідеальною, а розрив у втіленні дорівнює нулю. Імітаційне навчання, клонування поведінки та точне налаштування політики виграють від чистих телеопераційних демонстрацій.
Вартість проявляється в масштабі. Кваліфікований телеоператор створює 5–50 епізодів на годину залежно від складності завдання, а якість погіршується зі втомою операторів. Один робот, один оператор — це стеля, і саме тому відкриті платформи, такі як ALOHA, UMI та гуманоїдні установки на основі екзоскелетів (AgiBot, Fourier GR-1), зосереджені на зниженні витрат та збільшенні пропускної здатності, а не на радикальному масштабуванні.
Шайпа Фізичні сервіси даних ШІ керувати телеопераційними комірками разом із мультимодальними робочими процесами збору, щоб командам робототехніки не доводилося створювати операторські конвеєри з нуля.
Що таке дані моделювання та де вони масштабуються?
Дані моделювання генеруються фізичними двигунами — MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet — які рендерять віртуальних роботів, що виконують завдання в тисячах паралельних екземплярів. Один кластер графічних процесорів може створювати мільйони епізодів за одну ніч майже з нульовими граничними витратами.
Моделювання виграє завдяки масштабуванню та безпеці. Граничні випадки, збої внаслідок зіткнень та небезпечні конфігурації можна досліджувати без пошкодження апаратного забезпечення. Рандомізація доменів — випадкове змінення освітлення, текстур, тертя та жорсткості суглобів під час навчання — створює політики, які витримують зміни в реальному світі, а не переналаштовуються під одну візуальну конфігурацію.
Розрив між симуляцією та реальністю: Падіння продуктивності під час розгортання політики, навченої в симуляції, на фізичному обладнанні, зазвичай спричинене динамікою контактів, шумом датчиків та відмінностями в візуальній точності.
Вартість проявляється під час розгортання. Симулятори не моделюють тертя вологого бруска мила, ковзання пінопластової упаковки чи візуальну варіацію дзеркального металу під флуоресцентним освітленням. Завдання, що потребують багато контакту, – це ті місця, де найчастіше ламається відображення симуляції в реальності. Дослідження, опубліковане в 2025 році, кількісно оцінило цей компроміс: приблизно 8 зразків симуляції забезпечують еквівалентну перевагу 1 телекерованого зразка для завдань маніпуляцій в області домену (Закон використання даних для роботизованих маніпуляцій, 2025).
Фотореалістичні платформи рендерингу, такі як NVIDIA Cosmos та 3D Gaussian Splatting, зменшують візуальний розрив, але розрив у динаміці — тертя, деформація, податливість — залишається складнішою проблемою.
Що таке відеодані людини та що вони відкривають?
Відеодані людини – це кадри з людьми, які виконують маніпуляційні завдання – складають білизну, складають посуд, збирають компоненти – зняті з егоцентричних камер, ракурсів спостереження або спеціально підібраних демонстраційних наборів.
Відео, зняте людиною, виграє завдяки вартості та різноманітності. Один користувач зі смартфоном може за один день зняти сотні демонстрацій на кухнях, у гаражах, на фабриках та в офісах. Не потрібен робот, не потрібна лабораторія, не потрібне навчання операторів. Великі моделі мови зору, попередньо навчені на відео, знятому людиною, отримують загальне розуміння ситуації, яке корисно застосовується до політик роботи перед точним налаштуванням.
Обмеженням є відсутність мітки дії. Відео показує руку, яка стискає кухоль; воно не записує прикладену силу або кути суглобів, які потрібні маніпулятору робота для відтворення руху. Моделі зворотної динаміки та перенацілювання руки на кінцевий ефектор можуть частково визначити ці мітки, але результуючі псевдодії містять шум.
Уявіть собі стартап, який створює кухонного робота. У них є 80 000 доларів. Двадцять годин кваліфікованої телеоперації можуть купити їм 200 безпроблемних епізодів на цільовій руці. Двадцять годин відеозйомки учасників з різних домашніх кухонь дають їм кілька тисяч егоцентричних кліпів. Телефонний апарат чіткіший. Набір відео ширший. Роботу потрібні обидва, у різних співвідношеннях на різних етапах навчання.
Телеоперація проти симуляції проти людського відео: порівняння
| Розмір | Телеоперація | Моделювання | Відео з людьми |
|---|---|---|---|
| Вартість за епізод | Високий (час оператора + робота) | Дуже низький (лише обчислення) | Дуже низький (час роботи учасника) |
| Пропускна здатність | 5–50 епізодів/годину | Тисячі/годину на графічний процесор | Сотні/годину на одного учасника |
| Вірність | Найвищий (нульовий розрив у втіленні) | Середній (розрив між симуляцією та реальністю) | Середній (без міток дій) |
| Різноманітність завдань | Обмежено годинами роботи оператора | Обмежено дизайном середовища | Найвищий (різноманітність реального світу) |
| Найкраще для | Точне налаштування завдань, що потребують багато контактів | Попереднє навчання, крайні випадки, безпека | Попереднє навчання, розуміння сцени |
| Основна слабкість | Не масштабується | Перехід з симулятора в реальний | Ретаргетинг втілення |
| Типовий склад продукції | 5–20% від загальної кількості | 60–80% від загальної кількості | 10–30% від загальної кількості |
Як обрати правильну стратегію обробки даних для втіленого штучного інтелекту?
Вибір правильної стратегії навчання роботів починається з цілі розгортання, а не з джерела даних. Заводський робот-підбирач, домашній гуманоїд та хірургічний асистент мають радикально різні вимоги до точності, безпеки та втілення, а отже, радикально різні ідеальні поєднання даних. Гуманоїди, зокрема, мають власні вимоги до розгортання, які ми детально розглядаємо в нашому посібнику. дані навчання гуманоїдних роботів.
Практична триетапна структура:
- Попереднє навчання на симуляції та відео з людиною. Використовуйте симуляцію для широкого охоплення сцен, об'єктів та випадків безпеки на межі. Додайте егоцентричне відео людини для природних маніпуляційних апріорів та візуальної різноманітності реального світу. Цей етап є недорогим та широким.
- Якір з телеоперацією на цільовому варіанті реалізації. Зберіть 500–2,000 високоякісних телеопераційних епізодів саме того робота, якого ви плануєте розгорнути. Цей етап дорогий, але незамінний — він ґрунтує політику на реальній динаміці.
- Виконайте ітерацію з маховиком даних. Після розгортання фіксуйте автономні розгортання та випадки збоїв. Включіть їх у наступний цикл навчання разом із новим відео з телеоператорів та людей.
Уявіть собі це як навчання шеф-кухаря. Симуляція — це кулінарна школа — широка, дешева, толерантна до помилок. Людське відео — це перегляд тисяч кулінарних відео — широкий контекст, жодної власної кухні. Телеоперація — це практичне стажування на справжній кухні, де ви працюватимете — повільне, дороге, незамінне. Жоден серйозний шеф-кухар не пропускає жодного з трьох напрямків.
Шайпа мультимодальний збір даних та робочі процеси анотацій створені для підтримки всіх трьох рівнів — роботи телеопераційних стільникових комірок, маркування симуляцій та егоцентричного збору відео через глобальну мережу з понад 500 тисяч учасників — завдяки чому команди робототехніки можуть розробляти гібридну стратегію, не об'єднуючи п'ятьох постачальників.
Висновок
Дебати про телеоперацію, симуляцію та відеозйомку з використанням людини мають чітку відповідь у 2026 році: це не вибір, це стек. Телеоперація дає вам точність. Симуляція дає вам масштаб. Відео з використанням людини дає вам різноманітність. Виробничі втілені конвеєри штучного інтелекту поєднують усі три аспекти, зважені на ціль розгортання, втілення та бюджет. Команди, які виграють наступне десятиліття навчання роботів, будуть не тими, хто оберуть найдешевше джерело — вони будуть тими, хто організує найрозумніше поєднання.
Яка різниця між даними телеоперації та симуляції для навчання роботів?
Дані телеоперації записуються під час керування людиною фізичним роботом у реальному часі, створюючи високоточні пари дій-станів з нульовим розривом між варіантами реалізації. Дані моделювання генеруються у фізичних двигунах, таких як MuJoCo або NVIDIA Isaac Sim, що пропонує величезний масштаб за низькою ціною, але створює розрив між моделюванням та реальним середовищем. Телеоперація найкраще підходить для точного налаштування політики, тоді як моделювання найкраще підходить для попереднього навчання та крайніх випадків.
Скільки даних телеоперацій потрібно для навчання політики роботи?
Вимоги до телеоперацій залежать від того, чи модель попередньо навчена, чи навчена з нуля. Політика, попередньо навчена на симуляції та відеозйомці з використанням людського відео, зазвичай сходиться до 500–2,000 епізодів телеоперацій на цільове завдання. Без попереднього навчання вимога різко зростає до 10 000+ епізодів. Набори даних для попереднього навчання з перехресним втіленням, такі як Open X-Embodiment, значно зменшують бюджет телеоперацій, необхідний на етапі точного налаштування.
Чи може людське відео замінити телеоперацію для навчання втіленого ШІ?
Відео зйомки людини не може повністю замінити телеоперацію, оскільки відео бракує чітких позначок дій робота — показників сили, кутів суглобів, станів захоплення — яких потребує імітаційне навчання. Моделі зворотної динаміки можуть визначати часткові позначення дій, але політики, побудовані на них, працюють гірше, ніж ті, що були точно налаштовані на реальній телеоперації. Відео зйомки людини є найбільш цінним як джерело інформації перед навчанням та розуміння сцени, що знаходиться під фазою точного налаштування телеоперації.
Яка різниця між симуляцією та реальністю і як її подолати?
Розрив між симуляцією та реальністю – це падіння продуктивності, яке виникає, коли політика, навчена в симуляції, розгортається на фізичному обладнанні. Методи закриття включають рандомізацію доменів (зміна освітлення, текстур, тертя під час навчання), платформи фотореалістичного рендерингу, такі як NVIDIA Cosmos, 3D Gaussian Splatting для реконструкції сцени та ідентифікацію системи для відповідності фізичним параметрам реального робота. Більшість виробничих конвеєрів поєднують кілька методів плюс фазу точного налаштування телеоперації.
Яке джерело даних найкраще для навчання гуманоїдних роботів у 2026 році?
Навчання гуманоїдних роботів отримує найбільшу користь від багаторівневої стратегії: симуляція для пересування та управління всім тілом, телеоперація на основі екзоскелета для спритної маніпуляції та великі егоцентричні відеонабори для природних сцен. Відкриті набори даних, такі як AgiBot World та Open X-Embodiment, забезпечують попереднє навчання крос-втілень, тоді як користувацькі комірки телеоперації закріплюють політику на специфічній кінематиці цільового гуманоїда.
