Нова технология успява да промени света фундаментално?

Досега моделите за управление на роботите, които имитират физическия свят, не напредват със скоростта, с която се развиват езиковите модели като GPT.

Проблемът с данните за роботиката

Компании като 1X, Figure AI, Agility и Uber вече използват Cosmos за обучение на роботи и автономни превозни средства.

Но новите "мултивселенски" симулатори от Nvidia и Google могат бързо да променят това.

Google Deepmind също стартира подобен проект, макар и с известно закъснение спрямо Nvidia. Тим Брукс, лидер на екипа за симулации на Deepmind, сподели, че този тип симулации са ключова стъпка към изкуствения общ интелект (AGI). Deepmind смята, че мащабното предварително обучение на видео и мултимодални данни ще доведе до значителен напредък в визуалната преценка, планирането на автономни агенти и интерактивните забавления.

Моделът Cosmos може да симулира всички възможни бъдещи действия в реално време, за да помогне на AI да избере най-добрия път на действие. За да се справи с огромните изисквания за данни и обработка, Nvidia представи и "Cosmos Tokenizer," който намалява количеството необходими данни осемкратно и ускорява обработката 12 пъти.

Например, ако имате запис от шест камери на автономен автомобил, който шофира през слънчев ден, симулаторите могат да създадат 3D модел на тази ситуация и да я варират стотици пъти - при различни метеорологични условия, часове на деня или действия на други участници в движението.

Основният проблем, който забавя развитието на физическия изкуствен интелект (ИИ), е липсата на достатъчно данни. Докато езиковите модели (LLMs) могат да се обучават с огромното количество текст, изображения и видео в интернет, при моделите за поведение (LBMs) липсват такива обемни набори от данни.

Роботите и автономните превозни средства са скъпи и физически сложни, затова събирането на данни за 3D представяния на реални ситуации върви много по-бавно. Това обяснява защо Tesla активно интегрира хардуер за автономно управление в колите си, за да събере данни и да изпревари конкурентите в разработката на самоуправляващи се технологии.

Тези симулации включват разнообразни случаи, които са изключително редки в реалния свят. Всяка симулация генерира нови сценарии, в които роботът или автомобилът трябва да реагират различно. С помощта на тези 3D симулации се създават и висококачествени видео и сензорни данни, които могат да се използват за обучение на AI.