Семантична сегментація всієї сцени
Як Shaip забезпечив семантичну сегментацію на піксельному рівні для повних вуличних сцен — маркування кожного об'єкта та поверхні від доріг та неба до дорожньої розмітки та стовпів — створену як набір даних виробничого рівня для автономного водіння, розумних міст та екологічного штучного інтелекту.
Огляд проекту
Оскільки розуміння сцени стає основою автономного водіння, планування розумного міста та штучного інтелекту для моніторингу навколишнього середовища, клієнту потрібен був комплексний конвеєр сегментації, здатний позначити кожен піксель зображення, а не лише обмежувальні рамки чи основні об'єкти.
Shaip створив комплексний конвеєр анотацій на піксельному рівні, що охоплює інструменти полігональних та семантичних масок, комплексне покриття класів, обробку меж з точністю до країв та дворівневе забезпечення якості, створюючи готові до моделі набори даних для повноцінного розуміння ШІ.
Основна статистика
Точність пікселів
99%
Рівні забезпечення якості
2-рівневий
Покриття
Кожен піксель
Набір класів
Всебічний
Виклики
- Маркування кожен піксель на зображенні — нерозмічена область заборонена
- Простеження нерівні межі рослинних пологів, водних поверхонь та тріщин на дорогах
- Відмінність дорожня розмітка з дорожніх покриттів у зношеному або вицвілому стані
- Роздільний небо з туману або похмурі фони з точністю
- Підтримка чіткі межі класів на переходах від дороги до тротуару, від рослинності до ґрунту, від води до землі
Рішення
Комплексний набір класів
Анотація охоплювала повний набір категорій сцени — дорожні покриття, небо, рослинність, ґрунт та рельєф місцевості, водойми, стовпи та дорожні знаки, дорожню розмітку (смуги руху, стрілки, зебри), транспортні засоби (легкові автомобілі, вантажівки, автобуси, мотоцикли, велосипеди), а також будівлі та штучні споруди. Кожен піксель був віднесений до одного з визначених класів.
Інструменти для роботи з полігонами та семантичними масками
Анотатори використовували спеціалізовані інструменти для роботи з полігонами та семантичні пензлі-маски для обробки криволінійних, нерівних та щільно упакованих меж об'єктів з ідеальною точністю до пікселя. Вибір інструментів був узгоджений зі складністю форми об'єкта — маски для органічних форм, таких як рослинність, полігони для структурованих об'єктів, таких як транспортні засоби.
Рекомендації щодо точності країв
Для забезпечення чітких меж між суміжними класами, особливо в перехідних зонах, таких як межі між дорогою та тротуаром, рослинністю та ґрунтом, а також водою та землею, було дотримано суворих визначень класів та правил визначення меж. Саме ця точність робить моделі виявлення перешкод та зон руху нижче за течією надійними.
Обробка тонких структур
Такі дрібні структури, як стовпи, дорожні знаки та покажчики, займають лише кілька пікселів на ширококутних зображеннях, але є критично важливими для подальшого розвитку штучного інтелекту. Анотатори дотримувалися спеціальних інструкцій, щоб зафіксувати ці дрібні деталі, не жертвуючи точністю меж ширшої сцени.
Дворівнева перевірка якості та 99% піксельна точність
Кожне сегментоване зображення проходило ретельний дворівневий процес контролю якості з перевірками узгодженості між анотаторами, перевірками точності країв та валідацією меж класів. Мінімальна точність на рівні пікселів для кожного набору даних перед доставкою становила 99%.
Обсяг проекту
| Тип набору даних | Покриття | Інструменти анотацій | Набір класів | QA | Точність |
|---|---|---|---|---|---|
| Семантична сегментація всієї сцени | Кожен піксель, позначений | Полігони + семантичні маски | Комплексні уроки сценографії | 2-рівневий контроль якості | 99% на рівні пікселів |
Результати
- Створений a конвеєр розуміння сцени на піксельному рівні для аудіовізуальних систем та штучного інтелекту розумного міста
- Стандартизований повне охоплення класу з позначенням кожного пікселя
- Доставлений чіткі переходи між класами у складних зонах
- Підтримується 99% точність на рівні пікселів через дворівневу систему контролю якості
- Увімкнув клієнта проїзна зона, міське планування, моніторинг навколишнього середовища та відстеження будівництва AI
Загалом, Shaip допоміг перетворити вимогу розуміння сцени на піксельному рівні на структурований, готовий до виробництва конвеєр сегментації — здатний підтримувати автономне водіння, аналітику розумного міста, моніторинг навколишнього середовища та штучний інтелект для визначення прогресу на будівельному майданчику з точністю маркування для всієї сцени.
Shaip допоміг нам перетворити суб'єктивну якість звуку на вимірювану програму покращення. Їхня система оцінювання дала нам чіткі сигнали про те, що виправити, де покращити та як впевнено наблизитися до продакшену.
