Анотація об'єктів сцени в приміщенні для сервісної робототехніки та втіленого штучного інтелекту — тематичне дослідження
Як Shaip створив комплексну анотацію внутрішньої сцени для провідної компанії з інновацій у сфері робототехніки — виявлення та маркування кожного об'єкта в кімнатах за допомогою тегів просторових зв'язків — створену як набір даних виробничого рівня для роботизованого сприйняття та навігації на основі штучного інтелекту в будинках, офісах, складах та медичних закладах.
Огляд проекту
Оскільки робототехніка переходить у реальне впровадження в будинках, офісах, складах та лікарнях, клієнту потрібен був комплексний конвеєр анотацій, здатний позначати кожен видимий об'єкт у щільно захаращених внутрішніх сценах — з багатством атрибутів, достатнім для завдань взаємодії з роботами.
Шайп створив комплексний конвеєр анотацій, що охоплює сегментацію обмежувальних рамок та полігонів, включення щільних об'єктів, тегування просторових зв'язків та обробку відбивних поверхонь, створюючи готові до моделювання набори даних для робототехнічного сприйняття, навігації та взаємодії людини з навколишнім середовищем.
Основна статистика
Об'єкти / Зображення
100s
Категорії
щільний
Методи
Коробка + Полігон
Шари атрибутів
4
Виклики
- Анотування кожен видимий об'єкт у щільно захаращених зображеннях кімнати — сотні на кадр
- Вибір правильного методу — обмежувальна рамка проти сегментації полігонів — на основі складності об'єкта
- У тому числі дрібні предмети як-от вимикачі, вилки та декоративні елементи, критично важливі для взаємодії роботів
- Обробка відбиваючі поверхні (дзеркала, скляні столи) без фантомних анотацій
- Tagging просторові відносини та стани об'єктів для контекстно-залежного роботизованого ШІ
Рішення
Комплексне включення об'єктів
Кожен видимий об'єкт на зображенні кожної кімнати був окремо анотований за широким спектром категорій — меблі (стільці, столи, дивани, ліжка, полиці), побутова техніка (телевізори, холодильники, мікрохвильові печі, лампи), особисті речі (сумки, книги, пляшки, одяг), конструктивні елементи (двері, вікна, стіни, підлога) та дрібні предмети (пульти дистанційного керування, чашки, тарілки, клавіатури, вимикачі, вилки).
Вибір методу для кожного об'єкта
Об'єкти точно позначалися за допомогою обмежувальних рамок або сегментації полігонами залежно від форми та складності об'єкта. Рамки використовувалися для звичайних прямокутних об'єктів; полігони фіксували органічні форми та щільно упаковані елементи, де рамки надмірно перекривалися. Такий метод вибору для кожного об'єкта забезпечував чіткі межі навіть у захаращених сценах.
Тегування просторових зв'язків
Кожен анотований об'єкт був збагачений атрибутами, що охоплюють стан об'єкта (відкрито чи закрито для дверей та шухляд), теги просторових відносин, що вказують на близькість та розташування відносно інших об'єктів, статус оклюзії та стан об'єкта. Цей рівень просторового інтелекту дозволяє роботизованим системам штучного інтелекту розуміти контекст, а не лише виявляти об'єкти.
Охоплення дрібних об'єктів та критично важливих питань взаємодії
Анотатори дотримувалися суворих правил включення, щоб позначити кожен видимий об'єкт незалежно від розміру, включаючи дрібні предмети, такі як вимикачі, вилки та декоративні предмети, які є критично важливими для завдань взаємодії з роботом. Ці предмети часто визначають, чи зможе робот виконати своє завдання, тому їх не можна було знизити до пріоритету.
Обробка відбивної поверхні
Відбиваючі поверхні, такі як дзеркала та скляні столи, потребували спеціального поводження, щоб уникнути дублікатів або фантомних анотацій. Конкретні правила визначали, чи відбиті об'єкти позначалися окремо, ігнорувалися чи позначалися прапорцями, гарантуючи, що наступні моделі не навчатимуться на мітках, перевантажених артефактами.
Обсяг проекту
| Тип набору даних | Покриття | Методи | Категорії | Attributes | Спеціальна обробка |
|---|---|---|---|---|---|
| Анотація об'єкта в приміщенні | Кожен видимий об'єкт | Коробка + полігон | Меблі, побутова техніка, особисті речі, конструкційні, дрібні | 4 шари (стан, просторовий, оклюзія, умова) | Правила відбивної поверхні |
Результати
- Засновано конвеєр анотацій з щільним розташуванням об'єктів для роботизованого сприйняття в приміщенні
- Стандартизований вибір методу для кожного об'єкта між обмежувальними рамками та сегментацією полігонів
- Доставлений позначення просторових зв'язків забезпечуючи контекстно-залежний роботизований штучний інтелект
- Реалізовано обробка відбивної поверхні щоб запобігти появі фантомних анотацій
- Увімкнув клієнта будинок, склад, роздрібна торгівля та медичний заклад розгортання штучного інтелекту в робототехніці
Загалом, Shaip допоміг перетворити вимогу до анотацій з високою щільністю об'єктів у приміщенні на структурований, готовий до виробництва конвеєр — такий, що здатний підтримувати роботизовану навігацію, автоматизацію вибору та розміщення елементів, інтелектуальний моніторинг середовища та взаємодію людини з роботом у різноманітних середовищах розгортання всередині приміщень.
Шейп анотував кімнати так, як їх бачать наші роботи — кожен об'єкт, кожен зв'язок, кожну дрібницю, яка має значення. Їхня увага до вимикачів, штепселів та відбиваючих поверхонь означала, що наша модель сприйняття не спрацьовувала на речах, які більшість наборів даних ігнорують.
