- 研究者たちは、リアルタイムのインタラクションが可能なニューラルモデル駆動のゲームエンジンであるGameNGenを紹介しました。これは、単一のTPUで1秒間に20フレーム以上の速度でDOOMのシミュレーションを実演しました。
- GameNGenは、データ収集のためのRLエージェントと次のフレーム予測のための拡散モデルを含む2段階のトレーニングプロセスを使用し、損失のあるJPEG圧縮に匹敵する29.4のPSNRを達成しています。
- このモデルのアーキテクチャには、安定した長期生成と画像品質の向上を確保するために、条件付けの拡張と事前訓練されたオートエンコーダーの微調整が含まれており、人間の評価者が実際のゲームクリップとシミュレーションされたゲームクリップを区別するのが難しくなっています。
- 拡散モデルは過去のフレームとユーザーの操作に基づいてフレームを生成しますが、動的な調整のためのリアルタイムのユーザー入力はサポートしていません。
- DOOMのゲームプレイの大規模なデータセットで訓練されたこれらのモデルは、現在のフレームとユーザーのアクションに基づいてフレームを生成し、インタラクティブなシミュレーションというよりは神経記録に似ています。
- 技術は印象的ですが、内部ゲーム状態の一貫した維持が難しいなどの制約に直面しており、ゲームシミュレーションの可能性と課題の両方を浮き彫りにしています。
- 著者は最初、学術論文が自分のアルゴリズムを非効率的に実装し、その結果として誤った性能主張がなされたことに苛立ちを感じていた。
- このフラストレーションは、中央サーバーなしでリアルタイムの共同編集を可能にするCRDT(Conflict-Free Replicated Data Types)の探索と最適化につながりま した。
- 著者の最適化されたCRDT実装であるDiamondは、よりシンプルなデータ構造と高度なインデックス技術を使用することで、Automergeのような人気のあるCRDTを大幅に上回り、5000倍以上の速度向上を達成しています。
- この投稿では、コンフリクトフリー複製データ型(CRDT)の性能と実際のソフトウェアにおける実用的な応用について議論し、その利点と課題を強調しています。
- CRDTは、Thymer、Notion、Apple Notesなどのさまざまなアプリケーションで使用されており、リアルタイムのコラボレーションやオフライン機能などの機能を提供しますが、パフォーマンスの妥協や複雑なコンフリクト解決などのトレードオフが伴います。
- この議論には、CRDTの実際の実装についての開発者やユーザーからの洞察が含まれており、他の同期方法であるオペレーショナル・トランスフォーム(OT)との比較や、さまざまなユースケースに対する適合性の探求が含まれています。