Исследователи представили GameNGen, игровой движок на основе нейронной модели, способный к взаимодействию в реальном времени, что было продемонстрировано симуляцией игры DOOM с частотой более 20 кадров в секунду на одном TPU.
GameNGen использует двух фазный процесс обучения, включающий агента с подкреплением для сбора данных и диффузионную модель для предсказания следующего кадра, достигая PSNR 29.4, что сопоставимо с потерями при сжатии JPEG.
«Архитектура модели включает в себя условные дополнения и тонкую настройку предварительно обученного автоэнкодера для обеспечения стабильной долгосрочной генерации и улучшенного качества изображения, что затрудняет для человеческих оценщиков различение реальных и симулированных игровых клипов.»
Модели диффузии генерируют кадры на основе предыдущих кадров и действий пользователя, но не поддерживают ввод данных в реальном времени для динамических корректировок.
Обученные на большом наборе данных игрового процесса DOOM, эти модели создают кадры, обусловленные текущими кадрами и действиями пользователя, напоминая нейронную запись, а не интерактивную симуляцию.
«Хотя технология впечатляет, она сталкивается с ограничениями, такими как непоследовательное поддержание внутреннего состояния игры, что подчеркивает как ее потенциал, так и вызовы для симуляции игр.»
Автор изначально был разочарован неэффективной реализацией их алгоритма в академической статье, что привело к неверным утверждениям о производительности.
Это разочарование привело к исследованию и оптимизации CRDT (типов данных с репликацией без конфликтов), которые позволяют осуществлять совместное редактирование в реальном времени без центрального сервера.
Оптимизированная реализация CRDT от автора, Diamond, значительно превосходит популярные CRDT, такие как Automerge, благодаря использованию более простых структур данных и передовых методов индексирования, достигая улучшения скорости более чем в 5000 раз.
Пост обсуждает производительность конфликтно-свободных реплицируемых типов данных (CRDT) и их практическое применение в реальном программном обеспечении, подчеркивая их преимущества и вызовы.
«CRDT используются в различных приложениях, таких как Thymer, Notion и Apple Notes, предоставляя функции, такие как совместная работа в реальном времени и автономная работа, но они имеют свои недостатки, такие как компромиссы в производительности и сложное разрешение конфликтов.»
Обсуждение включает в себя мнения разработчиков и пользователей о практическом применении CRDT, сравнивая их с другими методами синхронизации, такими как операционные преобразования (OT), и исследуя их пригодность для различных случаев использования.