У розмовах про робототехніку змішуються два класи моделей: моделі «візуальна мова» та моделі «візуальна мова-дія». Вони звучать схоже, обидві обробляють зображення та текст, і обидві походять з однієї лінії мультимодального попереднього навчання. Але для будь-кого, хто намагається розгорнути систему штучного інтелекту, яка рухається, а не просто описує, ця різниця є вирішальною. VLM проти VLA – це різниця між моделлю, яка розуміє сцену, і моделлю, яка замикає цикл з фізичним світом.
Ключові винесення
- VLM-механізми відображають зображення та текст на мовні виводи; VLA-механізми відображають їх на дії робота.
- VLM не можуть безпосередньо керувати двигуном, захоплювачем або кінцевим ефектором.
- VLA розширюють VLM за допомогою токенів дій, навчених на даних демонстрації роботів.
- Більшість архітектур VLA точно налаштовують магістраль VLM на демонстраційних епізодах.
- Робототехніка розгортання вимагає даних для навчання моделі VLA, а не лише даних VLM.
- Плутанина цих двох понять призводить до переоцінки можливостей моделі сприйняття у виробництві.
Що таке VLM?
VLM (модель візуальної мови) – це мультимодальна нейронна мережа, яка приймає зображення та текст як вхідні дані та створює текст або структуровані виходи. VLM навчаються на парах зображення-текст у великих масштабах і чудово справляються з субтитрами, візуальними відповідями на запитання та візуальним мисленням.
VLM: Мультимодальна модель, яка використовує візуальні та мовні вхідні дані та створює мовні або символічні виходи, такі як підписи, класифікації або ланцюжки міркувань.
VLM потужні, але їхній вихідний простір символічний, а не фізичний. Вони можуть описувати, що відбувається на кухні, ідентифікувати об'єкт або відповідати на запитання про сцену. Вони не можуть нічого вловити.
[Читайте також: Що потрібно моделям VLA від навчальних даних ]
Що таке VLA?
Модель VLA (бачення-мова-дія) — це мультимодальна модель, яка використовує вхідні дані зору та мови та створює послідовності дій робота. Вихідний простір включає команди двигунів, пози кінцевого ефектора або токени дій, які декодуються в безперервні сигнали керування.
VLA: Модель фундаменту робота, яка генерує дії, а не текст — зазвичай дискретизовані токени руху, що відображаються на ступенях свободи робота.
В одній з фундаментальних робіт, що встановлюють цю парадигму, RT-2 точно налаштував магістралі мови зору на даних демонстрації роботів та виводив дискретизовані токени дій (DeepMind, 2023). Цей перехід виводу — від тексту до дії — і є вся архітектурна різниця.
Чим відрізняються навчальні дані VLM та VLA?
Навчальні дані VLM та навчальні дані VLA відрізняються тим, що знаходиться в кінці кожного прикладу. Приклад VLM поєднує зображення з підписом або формулою «питання-відповідь». Приклад VLA поєднує зображення з інструкцією та траєкторією дії, що базується на конкретному втіленні робота.
Корисна аналогія: VLM (аналітик з віртуальної лінійки) схожий на спортивного аналітика, який може детально описати кожну гру, але ніколи не тримав м'яч у руках. VLA (аналітик з віртуальної лінійки) – це гравець. Досвід аналітика реальний і корисний – він просто не замінює повторень з володінням м'ячем. Дані навчання VLA – це ці повторення: синхронізовані спостереження, мовні інструкції, мітки дій та маркери результатів, що повторюються протягом мільйонів епізодів.
[Читайте також: Стек наборів даних фізичного штучного інтелекту ]
Чому не можна просто використовувати VLM для робототехніки?
На практиці багато команд перетворюють VLM на VLA, розширюючи вихідний словник токенами дій — дискретизованими одиницями руху, що розглядаються як слова. Це зберігає міркування VLM, водночас надаючи йому спосіб дії.
Токен дії: Дискретизований рух робота, закодований як запис словника, який модель може передбачити так само, як вона передбачає токен мови.
Уявіть собі логістичний стартап, який ліцензує високоякісний VLM і припускає, що він може керувати роботом-підбирачем. Модель бездоганно сприймає сцену, описує правильний план і не видає жодних рухових команд. Без навчання на основі токенів дій система застрягає на описі. Додавання даних VLA зверху – це те, що розблоковує розгортання.
VLM проти VLA: порівняння
| Розмір | VLM | VLA |
|---|---|---|
| вхід | Зображення + текст | Зображення + текст + (часто) стан робота |
| Вихід | Мова / символіка | Жетони дій / команди двигуна |
| Дані навчання | Пари зображення-текст | Епізоди з траєкторіями дії |
| Використовуйте футляр | Субтитри, VQA, міркування | Робототехніка, автономія, втілений штучний інтелект |
| Втілення | ніхто | Прив'язаний до певного робота або родини |
| Оцінка | Точність, BLEU, корисність | Успіх завдання, узагальнення OOD, безпека |
Коли слід використовувати кожен з них?
Використовуйте VLM, коли завдання завершується описом, рішенням або текстовою відповіддю. Використовуйте VLA, коли завдання завершується фізичною дією.
У гібридних системах обидва відіграють певну роль. VLM обробляють розуміння сцени на високому рівні, діалоги та міркування. VLA обробляють керування із замкнутим циклом. Багато виробничих архітектур використовують VLM як планувальника, а VLA як виконавця — іноді в подвійних системах, які обмінюються прихованими представленнями між ними. Ця відмінність важлива, оскільки їм потрібні принципово різні навчальні дані, критерії оцінки та засоби контролю якості. Послуги комп'ютерного зору Shaip та операції з даними фізичного штучного інтелекту охоплюють обидва кінці цього спектру.
Висновок
VLM проти VLA — це не конкуренція; це розподіл праці. Обидва є важливими для втіленого ШІ, і обидва залежать від навчальних даних, які відповідають їхньому завданню. Вибір правильної моделі означає її зіставлення з правильним вихідним простором — і правильним стеком наборів даних для її підтримки.
Що означає абревіатура VLA в робототехніці?
VLA розшифровується як «візуально-мовна-дія» (vision-language-action) – клас моделей, які приймають зорові та мовні вхідні дані та виводять дії робота. Компонент дії є визначальною рисою – саме він відрізняє VLA від попередніх моделей зорово-мовних технологій, які видають лише текстові або символьні виходи.
Чи можна перетворити VLM на VLA?
VLM можна перетворити на VLA шляхом точного налаштування даних демонстрації робота з розширеним словником токенів дій. Більшість сучасних VLA побудовані таким чином, зберігаючи міркування VLM, навчаючи його видавати команди двигуна. Етап точного налаштування вимагає високоякісних наборів даних, узгоджених з діями, а не лише додаткового тексту.
Чи VLA — це просто VLM з іншою головкою?
VLA – це більше, ніж просто VLM з іншою головкою. Хоча багато архітектур мають спільну основу VLM, VLA додають декодери дій, токенізацію з урахуванням втілення та функції втрат, пов'язані з фізичним керуванням. Деякі конструкції розділяють планування та виконання на окремі модулі VLM та VLA, які обмінюються прихованими представленнями.
Який найпростіший тест VLM проти VLA?
Найпростіший тест на порівняння VLM та VLA полягає в тому, щоб запитати, що виводить модель. Якщо виходом є речення, підпис, класифікація або ланцюжок міркувань, модель є VLM. Якщо виходом є команда двигуна, кут суглоба або токен дії, який керує роботом, модель є VLA. Клас визначає простір виходів, а не модальність вхідних даних.
Чи потрібно VLA більше даних, ніж VLM?
VLA зазвичай потребують більше курованих, структурованих даних, ніж VLM, навіть коли загальна кількість токенів менша. Навчання VLM використовує пари зображення-текст у веб-масштабі з високим рівнем шуму. Навчання VLA вимагає траєкторій дій, узгодження мови на рівні деталізації епізодів та явних міток успіху — усе це вимагає структурованих конвеєрів збору та анотацій.
Чи корисні тести VLM для оцінки VLA?
Тести VLM мають обмежене застосування для оцінки VLA. Точність субтитрів та візуальні відповіді на запитання вимірюють сприйняття та міркування, а не контроль. Оцінка VLA залежить від рівня успішності завдання, узагальнення на невидимі об'єкти та середовища, а також продуктивності у сценаріях з різним рівнем безпеки — показників, які наразі не враховує жоден тест VLM.
