Тестирование нейронного процессора (NPU) Qualcomm на планшете Microsoft Surface показало производительность всего 1,3% от заявленных 45 тераопераций в секунду, достигнув лишь 573 миллиарда операций в секунду.
Тесты, которые включали умножение матриц, подобное тем, что используются в трансформерных моделях, показали, что NPU работает медленнее, чем CPU, несмотря на использование таких инструментов, как Python, Cmake и Visual Studio.
Различные факторы, такие как настройки мощности, топология модели и ошибки конфигурации, были учтены, указывая на то, что производительность NPU значительно ниже заявленного потенциала.
ИИ-компьютеры, использующие нейронный процессорный блок (NPU) от Qualcomm, не соответствуют ожиданиям по производительности, так как центральные процессоры (CPU) часто превосходят NPU.
НПУ разработан для энергоэффективности, а не для скорости, что приводит к минимальному разрыву в производительности между ЦП и ГП, указывая на потенциальные неэффективности.
Текущая реализация NPU может быть не полностью оптимизирована, что подчеркивает необходимость улучшенной поддержки и оптимизации для использования их предполагаемых преимуществ в экономии энергии.