В то время как мировые технологические гиганты соревнуются в создании систем искусственного интеллекта, которые генерируют все более реалистичные видеоклипы, исследователи из Абу—Даби создали нечто иное – модель, которая делает это, изучая, как мир ведет себя с течением времени.
Университет искусственного интеллекта имени Мохаммеда бен Зайда (MBZUAI) представил PAN – искусственный интеллект, моделирующий мир, способный запоминать прошлые события, предсказывать будущие состояния и реагировать на многоступенчатые инструкции с человеческой последовательностью.
Разработанный Институтом базовых моделей MBZUAI, PAN сохраняет непрерывность в длинных кадрах, позволяя следовать таким указаниям, как “после моста поверните налево” или “поставьте банку на стол, затем отойдите назад”, сохраняя при этом пространственную планировку и логическую последовательность сцены.
Современные системы, такие как Sora от OpenAI и Veo от Google, часто создают визуально насыщенные клипы, но со временем теряют четкость изображения объектов или структуры сцены — зазор между кадрами должен закрываться.
“Вместо того, чтобы просто генерировать видео, PAN понимает, что происходит в сцене, и предсказывает, что должно произойти дальше”, – пояснили исследователи, участвующие в проекте.
Как это делает PAN
PAN достигает этого, разделяя задачу на два этапа. Сначала программа формирует внутреннее представление об окружающей среде — распознает объекты, движение и взаимосвязи с течением времени. Затем она переводит это понимание в видео, шаг за шагом обновляя его по мере разработки инструкций. Такой подход позволяет системе сохранять стабильность и реалистичность в течение более длительного периода времени.
Технология моделирования приобретает все большее значение для робототехники, автономных систем и промышленного планирования. Способность PAN отслеживать объекты во времени и прогнозировать результаты делает его незаменимым инструментом для тестирования ситуаций, которые было бы слишком рискованно, дорого или непрактично воссоздавать в реальном мире.
Бесплатно использовать
Разработанный командами MBZUAI в Абу-Даби, Париже и Кремниевой долине, PAN является частью множества моделей, выпускаемых в столице в попытке отказаться от использования импортных технологий. Модель и ее техническая документация находятся в открытом доступе по адресу panworld.ai, что позволяет ОАЭ войти в число небольшой группы стран и институтов, создающих искусственный интеллект мирового уровня для открытого использования в научных исследованиях.
Поскольку мировые компании в настоящее время стремятся к созданию более безопасных автономных систем и более надежному планированию, PAN предлагает альтернативу моделям, ориентированным исключительно на визуальное качество. Вместо показа коротких видеороликов он обеспечивает структурированное понимание того, как действия влияют на будущие результаты – возможность, которая, по словам исследователей, приближает искусственный интеллект на шаг к подлинному мышлению и пониманию физического мира.