- グッドハートの法則の強いバージョンは、代理指標を過度に最適化すると、実際の目標においてより悪い結果を招く可能性があることを示唆しており、これは標準化テストや機械学習の過剰適合に見られる。
- この概念は、政治、経済、健康を含むさまざまな分野に適用可能であり、この現象の広範な関連性を示しています。
- 機械学習からの緩和戦略として、代理目標を望ましい結果と一致させること、正則化ペナルティを追加すること、ノイズを注入すること、早期停止を使用することなどが、これらの問題を管理するのに役立ちます。
- 機械学習やその他の分野における過剰最適化は、ML研究者のヤシャ・ソール=ディクスタインが示唆するように、負の結果をもたらす可能性があります。
- この概念はグッドハートの法則と一致しており、測定が目標になると、それは良い測定ではなくなると述べています。
- 過剰最適化による負の結果の例として、COVID-19によるサプライチェーンの混乱や、スウェーデンの医療および鉄道における非効率性が挙げられ、システムが堅牢性と適応性を維持するためにある程度の余裕を持つ必要性が強調されています。
- Discordは当初、メッセージの保存にMongoDBを使用していましたが、より優れたスケーラビリティとフォールトトレランスを求めてCassandraに切り替えました。しかし、その後、パフォーマンスとメンテナンスの問題が発生しました。
- 2022年、DiscordはCassandraからScyllaDBに移行しました。ScyllaDBはより効率的で、C++ベースのCassandra互換データベースであり、ノード数を177から72に削減し、レイテンシーとパフォーマンスを大幅に向上させました。
- 移行には新しいデータの二重書き込みと、歴史的データのためのRustベースの移行ツールの使用が含まれており、これにより問題が少なくなり、ワールドカップのような大規模なイベント中のトラフィック増加に対する対応が改善されました。
- Discordは、特に削除とガベージコレクション(GC)のパフォーマンス問題に対処するために、CassandraからScyllaDBに移行しました。
- ScyllaDBは削除にトゥームストーンを使用しているにもかかわらず、より優れた圧縮戦略とパフォーマンスを提供します。
- Discordは移行中に既存のスキーマとパーティショニング戦略を維持し、優れたデフォルト設定の重要性を強調しました。