Анотація обмежувальної рамки 3D LiDAR для автономного водіння
Як Shaip забезпечив точну анотацію 3D-кубоподібної обмежувальної рамки для 14 класів об'єктів з приблизно 53 рамками на кадр на однокадрових даних хмари точок — відкаліброваних за 2D-зображеннями для автономного сприйняття транспортних засобів у виробничому масштабі.
Огляд проекту
Оскільки сприйняття автономного водіння переходить до впровадження у виробниче середовище, клієнту знадобився високоспеціалізований конвеєр анотацій 3D LiDAR, здатний розміщувати точні обмежувальні рамки кубоподібного типу з щільністю, необхідною для реальних навчальних даних автономного водіння, — з багатоатрибутним маркуванням та калібруванням 2D-зображення.
Shaip створив комплексний конвеєр анотацій, що охоплює розміщення 3D-кубоїда, забезпечення розміру за замовчуванням, маркування кількох атрибутів, обробку граничних випадків середовища та перевірку еталонних зображень, надаючи готові до моделі набори даних AV-сприйняття для 14 класів об'єктів.
Ключовий статус
Класи об'єктів
14
Кількість коробок на рамку
~ 53
Шари атрибутів
5
Рівні оклюзії
4
Виклики
- розміщення ~53 3D-прямокутні коробки на кадр з точним щільним приляганням до країв хмари точок
- Обробка 14 класів об'єктів через транспортні засоби, пішоходів, тварин та рухомі об'єкти
- Робочий одночасно з 2D калібрувальними зображеннями та 3D хмарою точок дані
- управління хмари точок-привидів, відображення від землі, туман, імла та бризки води
- Виконання розміри за замовчуванням для кожного класу для міжфреймової узгодженості
Рішення
Робочий процес розміщення 3D-прямокутного паралелепіпеда
Анотатори розміщували точні 3D-однокутні обмежувальні рамки на даних хмари точок одного кадру одночасно з 2D-зображенням калібрування. Кожен клас мав визначені розміри обмежувальних рамок за замовчуванням, щоб забезпечити узгодженість розмірів між кадрами — автомобілі 3.4–5.1 м, вантажівки 3.4–14 м, пішоходи 0.4–1.2 м завширшки.
Багатоатрибутивне маркування
Окрім розміщення обмежувальної рамки, кожен анотований об'єкт отримав атрибутивні мітки, що охоплюють стан транспортного засобу (керування/припаркований), стан двоколісного транспортного засобу (з/без водія), стан пішохода (стоячи/сидячи/лежачи), стан оклюзії (4 рівні: немає, часткова, більшість, повна) та стан кінцівок (виступаючі об'єкти, відкриті двері, прикріплене обладнання).
Обробка граничних випадків у сфері навколишнього середовища
Суворі правила регулювали анотування сильно затьмарених або віддалених об'єктів, хмар точок-привидів, спричинених подвійним неправильним калібруванням LiDAR, відбиттів від землі та шуму навколишнього середовища від бризок води, туману та імли. Бічні дзеркала, відкриті двері, стріли крана, багажники на даху та багаж пішоходів були чітко виключені; сирени екстреної допомоги та контейнери на кузові вантажівок були включені.
Перевірка відповідності щільній коробці
Блоки мали бути щільно прилягати до країв хмари точок з мінімальними видимими проміжками. Орієнтацію перевіряли за допомогою калібрувальних даних та контексту смуг руху, де хмари точок були неоднозначними. Нічні та дощові сцени оброблялися еквівалентно денним умовам для узгодженості анотацій.
Міжмодальне забезпечення якості
Усі анотації були перевірені на відповідність еталонним 2D-зображенням для перевірки правильності розміру та орієнтації. Цей крос-модальний шар контролю якості виявив перекоси, які не були б помітні лише з хмари точок, забезпечуючи точність виробничого рівня для подальшого навчання моделі сприйняття аудіовізуальних сигналів.
Обсяг проекту
| Тип набору даних | Класи | Коробки/Рамка | Attributes | Рівні оклюзії | Перевірка |
|---|---|---|---|---|---|
| 3D LiDAR AV сприйняття | 14 | ~53 в середньому | 5 шарів атрибутів | 4 (0–100%) | Перевірка 2D-зображень |
Результати
- Створений a щільний конвеєр 3D LiDAR-анотацій з ~53 коробками на кадр з точністю до виробництва
- Стандартизований Онтологія об'єктів 14 класів із застосуванням розміру за замовчуванням для кожного класу
- Доставлений 5 шарів атрибутів включаючи 4-рівневу класифікацію оклюзії
- Реалізовано крос-модальне забезпечення якості перевірка 3D-коробок на основі 2D-калібрувальних зображень
- Увімкнув клієнта автономне сприйняття транспортних засобів, ADAS та автономне керування модельне навчання
Загалом, Шайп допоміг перетворити складну вимогу до сприйняття 3D LiDAR у структурований, готовий до виробництва конвеєр анотацій — здатний підтримувати розробку автономного водіння, систем допомоги водієві (ADAS), робототаксі та безпілотних вантажівок з точністю калібрування в складних реальних умовах.
Шайп впорався з граничними випадками AV, які порушують більшість конвеєрів анотацій — туман, хмари точок-привидів, щільна оклюзія та ~53 блоки на кадр. Їхня 2D-3D перехресна перевірка дала нам дані для навчання сприйняття, яким ми довіряли.
