«Сильная версия закона Гудхарта предполагает, что чрезмерная оптимизация прокси-метрики может привести к ухудшению результатов в достижении реальной цели, как это наблюдается в стандартизированном тестировании и переобучении машинного обучения.»
«Эта концепция применима в различных областях, включая политику, экономику и здравоохранение, что указывает на широкую значимость этого явления.»
Стратегии смягчения последствий из машинного обучения, такие как согласование прокси-целей с желаемыми результатами, добавление штрафов за регуляризацию, введение шума и использование ранней остановки, могут помочь справиться с этими проблемами.
Чрезмерная оптимизация в машинном обучении и других областях может привести к негативным последствиям, как предполагает исследователь машинного обучения Яша Соль-Дикштейн.
Эта концепция согласуется с законом Гудхарта, который гласит, что когда мера становится целью, она перестает быть хорошей мерой.
Примеры негативных последствий чрезмерной оптимизации включают сбои в цепочках поставок из-за COVID-19 и неэффективность в здравоохранении и железнодорожной системе Швеции, что подчеркивает необходимость сохранения некоторого запаса для устойчивости и адаптивности систем.