Трансформація розуміння залізничної сцени за допомогою LiDAR та 2D-анотацій
Дізнайтеся, як сервіси Shaip для анотації 2D-даних LiDAR, камери та інших даних допомагають моделям штучного інтелекту виявляти об'єкти, розуміти залізничне середовище та покращувати сприйняття автономної мобільності.
Огляд проекту
Сучасні системи сприйняття залізничних об'єктів вимагають більше, ніж просто загального маркування об'єктів. Вони потребують контексту, специфічного для залізниці, точної геометрії та надійної узгодженості між датчиками в хмарах точок LiDAR та синхронізованих зображеннях камер.
Щоб задовольнити цю потребу, компанію Shaip було залучено до проекту анотації залізничних даних LiDAR, що охоплює сцени залізничної інфраструктури. Обсяг проекту включав анотацію хмар точок LiDAR, що підтримувалися п'ятьма синхронізованими 2D-зображеннями для кожної сцени, використовуючи таксономію з 29 класів з обов'язковими та необов'язковими.
атрибути для кожного класу.
Метою було створення структурованого набору даних з контрольованою якістю, здатного навчати та перевіряти моделі сприйняття залізниці для виявлення об'єктів, розуміння сцени, усвідомлення колії та інтерпретації інфраструктури.
Основна статистика
Налаштування датчика
Хмара точок LiDAR
систематика
29 Класи, специфічні для залізниці
Цілі якості
≥99% загальної точності анотацій
Кроссенсорна узгодженість
≥99% LiDAR – 2D-вирівнювання
Виклики
- Анотування мультимодальних залізничних сцен узгоджено на зображеннях LiDAR та 2D
- Управління специфічною для залізниці таксономією з 29 класів з детальними атрибутами та зв'язками об'єктів
- Підтримка кроссенсорної узгодженості між 3D та 2D анотаціями
- Збереження геометричної точності для лінійних конструкцій, таких як колії та кабелі
- Дотримання суворих порогових значень точності для позначок класів, геометрії та атрибутів у пілотному середовищі
Рішення
Шайп розробив робочий процес анотації, орієнтований на залізницю, адаптований до технічних вимог проекту.
Стратегія даних
Визначено мультимодальний конвеєр анотацій, що охоплює дані хмари точок LiDAR та п'ять синхронізованих 2D-зображень для кожного кадру LiDAR.
Структура анотацій
Застосовано кілька методів анотації залежно від типу об'єкта та структури сцени:
- 3D-анотація кубоїда для дискретних об'ємних об'єктів
- 3D-анотація поліліній для лінійних конструкцій, пов'язаних з залізницею
- 2D обмежувальна рамка для локалізації об'єктів на зображеннях
- 2D-полігон для нерегулярних меж об'єктів
- 2D полілінія для рейок, кабелів та розмітки
- 3D-прямокутний кубоподібний елемент у 2D-прозорих зображеннях, де потрібні були орієнтація та контекст глибини
Розробка таксономії, специфічної для залізниці
Анотовано 29 попередньо визначених класів, що охоплюють людей, особисті речі, транспортні засоби, поїзди, вагони, тварин, колії, стрілки, контактні стовпи, світлофори, сигнали, сигнальні мости, буферні зупинки, світловідбиваючі тестові об'єкти та інші об'єкти залізничної сцени.
Анотація з багатим на атрибути вмістом
Зафіксовано як обов'язкові, так і додаткові атрибути, включаючи:
- Рівні оклюзії
- Стан і тип
- Підключення через connectedTo
- Ідентифікатори залізничних колій та колій
- Порядок та орієнтація об'єктів
- Властивості поверхні, аспекту та структури сигналу
Ідентифікація та цілісність відносин
Забезпечено, щоб кожна анотація мала унікальний ідентифікатор анотації, а кожен об'єкт мав унікальний ідентифікатор об'єкта у форматі UUID, з двонаправленими зв'язками connectedTo з урахуванням сенсорів.
Правила точності та забезпечення якості
Реалізовані правила анотацій, зокрема:
- Оцінка оклюзії у 2D та 3D
- Поріг двовимірного маркування об'єктів ≥25 пікселів у висоту або ширину
- 2D-допуск ±3 пікселів
- 3D-допуск до 10 см
- Вирівнювання обертання по осі z для узгодженості орієнтації об'єктів
- 3-рівневе забезпечення якості з петлями корекції для підпорогових виходів
Обсяг проекту
| Елемент набору даних | Специфікація |
|---|---|
| Основна модальність | Дані хмари точок LiDAR |
| Довідкова модальність | 5 синхронізованих 2D-зображень на кадр LiDAR: 3 ІЧ-зображення та 5 RGB-зображень |
| Загальна кількість класів | 29 класів, специфічних для залізниці |
| Типи 3D-анотацій | 3D-прямокутний паралелепіпед, 3D-полілінія |
| Типи 2D-анотацій | 2D обмежувальна рамка, 2D багатокутник, 2D полілінія, 3D прямокутний паралелепіпед у 2D-виглядах |
| Пілотний том | 2 послідовності |
| Стандарт ідентифікації | Ідентифікатор анотації та ідентифікатор об'єкта на основі UUID |
| Цілі для вимірювання точності | ≥99% загалом, ≥99% атрибутивно, ≥99% кроссенсорно узгоджено |
Приклад охоплення класу
| Категорія | Зразки класів | Тип анотації |
|---|---|---|
| Люди та мобільність | людина, інвалідний візок, скутер, велосипед, натовп | 2D BB / 4-точковий полігон / 3D BB |
| Залізничні активи | поїзд, фронт поїзда, вагони, колія, стрілка, гальмівний_черевик | контурний полігон / полілінія / 3D BB |
| Сигналізація та накладні витрати | сигнал, сигнальний_стовп, сигнальний_міст, стовп_контактної_мережі | 2D BB / контурний полігон / 3D BB |
| Навколишнє середовище та інше. | дорожній_транспортний_засіб, тварина, група_тварин, відбивні_тестові_об'єкти, дим, полум'я | різниться залежно від класу |
Результати
- Створено спеціалізовану для залізниці мультимодальну систему анотацій для LiDAR та даних зображень
- Визначено таксономію залізниць із 29 класів з детальною обробкою атрибутів
- Встановити контрольні показники якості ≥99% для точності анотацій, атрибутів та кроссенсорної узгодженості
- Створено пілотну основу для побудови високонадійних моделей сприйняття залізниць
У стратегічному плані цей проєкт надає клієнтським системам штучного інтелекту для поїздів краще розуміння сцен у залізничних середовищах, де геометрія, безперервність об'єктів та контекст інфраструктури є критично важливими.
Мультимодальний підхід Shaip до анотацій допоміг нам структурувати вузькоспеціалізований набір даних про залізницю з точністю, необхідною для розробки моделі сприйняття. Їхня зосередженість на глибині таксономії, геометричній точності та міжсенсорній узгодженості створила міцну основу для нашого конвеєра залізничного штучного інтелекту.
