Развернул локально и поигрался с игровым нейродвижком Waypoint-1.5

Я давненько слежу за тем, как развивается направление игровых нейродвижков. По правде говоря, об этом сложно не следить, даже на DTF активно освещали нейросетевые Doom, Minecraft, Quake 2 и GTA 4. Сегодня наиболее впечатляющие результаты показывают модели Genie 3 от Google и Lyra 2.0 от NVIDIA, но всё это великолепие крутится на массивах мощных видеокарт и обывателю как правило недоступно.

На этом фоне выделилась новость о том, что американская компания под названием Overworld выпустила версию 1.5 своей первой в истории опенсорсной реалтайм world-модели Waypoint. Главная фишка релиза — возможность поиграть на консьюмерских видеокартах, к которым относится моя 3080.

Как оказалось, развернуть модель у себя довольно просто — это буквально делается методом «далее далее далее готово». Главную трудность представляет собой, пожалуй, долгое скачивание, установка и подготовка к симуляции.

Разработчики предоставили две версии Waypoint-1.5: полную, которая производит симуляцию в разрешении 720 и облегченную, на 360. Все симуляции стартуют с набора заданных сцен. На видео ниже можно увидеть, насколько быстро идёт симуляция на моей карточке в разрешении 720:

А вот так ведёт себя на 3080 та же сцена, но в 360:

Как видите, во втором случае у меня всё бегает довольно шустро, но выглядит куда более мутно и расплывчато. В интерфейсе предусмотрена возможность обуславливать окружение с помощью промпта, но я ещё не до конца исследовал эту возможность, хотя убедился, что она работает.

Какие выводы можно сделать? Если закрыть глаза на низкое разрешение, технология обеспечивает плавность движения и управления на прототипном уровне. По сравнению с демо Mirage, мир не разваливается, хотя модель активно забывает прошлое, галлюцинирует и порождает сюрреалистические пейзажи. Но делать в таких мирах пока решительно нечего, разве что переживать некий аналог мистическо-гипнотического опыта.