Розвиток втіленого штучного інтелекту з використанням егоцентричних відеоданих реального світу
Забезпечення розпізнавання людської діяльності, робототехніки та моделей взаємодії рук з об'єктами за допомогою масштабованого відео, знятого в побутових та промислових умовах.
Огляд проекту
Клієнт співпрацював із Shaip для створення масштабованої програми збору високоякісних егоцентричних відеоданих. Учасники записували б реальну побутову та промислову діяльність за допомогою надійно закріплених мобільних пристроїв, розташованих на рівні чола.
Метою було створити різноманітний, натуралістичний набір відеоданих, придатний для навчальних моделей, щоб:
- Розпізнавання складних людських видів діяльності та послідовностей завдань
- Інтерпретувати взаємодію рук з предметами
- Розуміти реальні умови побуту та на робочому місці
- Підтримка робототехніки та втілених застосувань штучного інтелекту
- Покращення узагальнення моделі для різних місць розташування, пристроїв, об'єктів та умов експлуатації
У співпраці наголошувався на природному виконанні завдань, стабільному позиціонуванні камери, безперервності, згоді учасників та ретельній перевірці якості.
Егоцентричний набір відеоданих: ключові характеристики
Обсяг даних
Зібрано 30 000 годин, анотовано понад 24 000 годин
Можливість участі
До 100 затверджених відеогодин на одного учасника
Схвалені пристрої
iPhone 11+, Google Pixel 6+ та Samsung Galaxy S21+
Географічне покриття
Сполучені Штати та Латинська Америка
Середовища активності
Побутові, промислові та комерційні приміщення
Проблеми егоцентричного збору відеоданих
- Захоплення природної людської поведінки: Потрібні були учасники, які виконували справжні дії без постановочних, перебільшених або роботизованих рухів.
- Збереження кадрування від першої особи: Обидві руки, робоча зона та відповідні об'єкти повинні були залишатися видимими протягом усього активного виконання завдання.
- Керування стабільністю камери: Мобільні пристрої, що кріпляться на голові, повинні бути надійно закріплені, з мінімальним коливанням, надмірним нахилом або перешкодами.
- Збір у різних середовищах: Для набору даних потрібні були автентичні кадри з житлових, промислових, роздрібних, готельних, сільськогосподарських, будівельних та сервісних приміщень.
- Мінімізація відеоматеріалів у режимі очікування або без виконання завдань: Записи мали демонструвати безперервну, навмисну роботу з обмеженими паузами та зайвим рухом.
- Забезпечення авторизації та згоди: Кожен учасник та місце запису вимагали відповідного дозволу, згоди та підтвердження відповідності.
- Масштабування без шкоди для якості: Великі обсяги відзнятого матеріалу потребували швидкого перегляду, чіткого пояснення причин відхилення та ефективного проведення повторних знімків.
Як Шайп збирав егоцентричні відеодані
Стратегія збору
Шайп розробив гнучку структуру, що охоплює автентичну побутову, комерційну та промислову діяльність. Учасники обирали завдання, що відповідали їхньому природному розпорядку дня, а не дотримувалися постановочних сценаріїв.
Адаптація учасника
Учасників зі Сполучених Штатів та Латинської Америки навчили вибору завдань, вимогам до пристроїв, розміщенню камери, отриманню згоди та забороненим умовам зйомки.
Колекція мобільних відео
Записи були зроблені за допомогою спеціального мобільного застосунку з автоматичним надсиланням та перевіркою місцезнаходження для підтвердження зйомки в межах затверджених регіонів.
Налаштування камери, що кріпиться на голову
Схвалені смартфони були надійно закріплені на рівні чола та спрямовані приблизно під кутом 45° вниз, щоб руки, предмети, робоче місце та, коли користувач нерухомий, пальці ніг були видимими.
Природне виконання завдань
Учасники виконували безперервну, цілеспрямовану діяльність стоячи або ходячи, природно взаємодіючи з інструментами, обладнанням та предметами повсякденного вжитку.
Перевірка якості
Кожен запис перевірявся на стабільність камери, освітлення, фокус, видимість рук та об'єктів, безперервність завдання, позу, середовище та авторизацію.
Швидкий огляд та повторне захоплення
Заявки розглядалися протягом одного дня. Чіткі причини відхилення дозволяли учасникам швидко виправляти та відновлювати відзнятий матеріал.
Контрольні заходи управління
Згода, авторизація місцезнаходження, безпечне подання, перевірка місцезнаходження та передача прав інтелектуальної власності були інтегровані в робочий процес.
Обсяг та діяльність проекту
| Сегмент даних | Представницька діяльність | Вимоги до захоплення |
|---|---|---|
| Домашні справи | Прання, організація кімнат, прибирання кухні, догляд за домашніми тваринами, догляд за рослинами, садівництво та обслуговування будинку. | Стоячи або йдучи; природне виконання; видно руки та робоче місце. |
| Склад і логістика | Пакування, сортування, обробка запасів, перевірка та переміщення матеріалів. | Стабільне захоплення з кріпленням на голові з безперервною роботою. |
| Комерція та готельний бізнес | Прибирання, ведення домашнього господарства, поповнення запасів у роздрібній торгівлі та діяльність у сфері громадського харчування на дому. | Авторизоване місце запису та чітка взаємодія з об'єктом. |
| Промислова діяльність | Легке виробництво, складання, обслуговування обладнання та виробничі процеси. | Справжнє виконання на робочому місці з відповідними дозволами. |
| Сільське господарство та ландшафтний дизайн | Догляд за територією, садівництво, сільськогосподарські роботи та обробка матеріалів на відкритому повітрі. | Достатнє освітлення, стабільне каркасування та безпечне виконання завдань. |
| Кваліфіковані майстри та польові послуги | Будівництво, автомобільне обслуговування, ремонт, монтаж та польове обслуговування. | Чітка видимість інструментів, рук, компонентів та робочої зони. |
Рамки якості
Записи було відхилено через:
- Заблокований, надмірно нахилений або нестабільний огляд камери
- Слабке освітлення, слабкий фокус, нечітка видимість
- Тривалі періоди простою або відеозаписи без виконання завдань
- Штучне, надумане або роботизоване виконання
- Надмірні рухи голови, рук або тіла
- Руки поза рамкою протягом більше 10% активної дії захоплення та відпускання
- Несанкціоновані місця запису
- Відсутня згода учасника
Успішний запис був необхідний для:
- Зафіксуйте автентичні побутові або промислові роботи
- Зберігайте стабільну перспективу від першої особи
- Тримайте руки, предмети та робочу зону видимими
- Демонструйте безперервну та цілеспрямовану діяльність
- Відповідайте затвердженим вимогам щодо розташування пристроїв та камер
- Підходити для навчання ШІ, що включає розпізнавання активності та робототехнічне сприйняття
Результати: егоцентричні відеодані, готові до роботизації
- Автентичні дані про активність: Природне виконання завдань фіксувало людські дії, взаємодію рук з предметами та операційні послідовності.
- Масштабоване розширення набору даних: Кожен учасник міг присвятити до 100 затверджених годин, тоді як варіації об'єктів, інструментів, місць розташування, освітлення та послідовностей завдань розширювали різноманітність наборів даних, масштабуючи програму приблизно до 30 000 годин зібраного егоцентричного відео, з яких понад 24 000 годин анотовано та затверджено для навчання моделей.
- Контекст готовності до робототехніки: Стабільні кадри від першої особи забезпечували чітку видимість рук, предметів, обладнання, робочих місць та виконання завдань.
- Швидке втручання у забезпечення якості: Одноденні цикли огляду забезпечували швидкий зворотний зв'язок, виправлення та повторне отримання інформації.
- Географічна різноманітність та різноманітність пристроїв: Збір по всій території США та Латинської Америки з використанням схвалених пристроїв Apple, Google та Samsung запровадив практичні відмінності в навколишньому середовищі та апаратному забезпеченні.
- Інтегроване управління: Згода, авторизація, перевірка місцезнаходження, безпечне подання та контроль якості були вбудовані в усю програму.
Отриманий підхід до збору даних забезпечує міцну основу для побудови систем штучного інтелекту, які розуміють дії людини з точки зору оператора та функціонують надійніше.
Структурований підхід Shaip до егоцентричного відеозбіру забезпечив нам масштаб, контроль якості та різноманітність реального світу, необхідні для нашої програми навчання ШІ. Їхній швидкий робочий процес перегляду та детальні стандарти захоплення створили надійну основу для вдосконалення моделей розпізнавання активності та робототехніки.
