Мультимодальна мовна модель

Визначення

Мультимодальна мовна модель – це розширення LLM, яке може обробляти та генерувати текст та інші модальності, такі як зображення, аудіо чи відео.

Мета

Мета полягає у створенні систем штучного інтелекту, здатних до глибшого розуміння та взаємодії, що виходить за рамки простого тексту. Ці моделі корисні для віртуальних помічників, інструментів доступності та робототехніки.

Значення

• Підтримує інтеграцію візуального та слухового контексту у відповідях.
• Забезпечує роботу нових програм, таких як візуальні відповіді на запитання.
• Обчислювально дорого та складно навчати.
• Поділяє ризики галюцинацій та упередженості, пов'язані з LLM.

Як це працює

1. Збирайте великі мультимодальні набори даних (текст + зображення/аудіо).
2. Поїзд з трансформерами, адаптованими для різних модальностей.
3. Узгодьте вбудовування між різними модалітами для забезпечення сумісності.
4. Точне налаштування конкретних мультимодальних завдань.
5. Розгортання для мультимодальної взаємодії в реальному світі.

Приклади (реальний світ)

• GPT-4 із зором (OpenAI): обробляє текст і зображення.
• Flamingo (DeepMind): навчання кількома спробами для мультимодальних завдань.
• Google Gemini: інтегрує різні способи міркування.

Література / Додаткова література

• Алайрак та ін. «Фламінго: модель візуальної мови». DeepMind.
• Технічний звіт OpenAI GPT-4.
• Звіт Стенфордського CRFM про моделі фундаменту.
• Що таке великі мультимодальні моделі (LMM)?