StableLM - это новая языковая модель с открытым исходным кодом, предназначенная для задач обработки естественного языка.
Модель уникальна тем, что позволяет пользователям обучать и настраивать ее на своих собственных наборах данных, тем самым повышая производительность при изучении языка для конкретных задач.
Архитектура модели основана на BERT и разработана таким образом, чтобы минимизировать катастрофическое забывание.
Модель предварительно обучена на большом корпусе текстов, включая Википедию и Common Crawl.
Программное обеспечение просто в использовании и доступно на GitHub, а документация поможет пользователям начать работу.
StableLM уже используется в различных приложениях, включая классификацию текстов и анализ настроений.
Новая языковая модель с открытым исходным кодом под названием StableLM была выпущена компанией Stability.AI, с моделями от 3B до 65B параметров и шириной контекста 4096.
Оценка модели вызвала критику, но это хороший вариант для разработчиков, которые хотят улучшить модель, поскольку она с открытым исходным кодом.
В настоящее время тестируется альфа-модель StableLM, ожидается, что она превзойдет Pythia 6.9B и будет обучена на 1,5 триллионах лексем.
Более крупные модели обучаются быстрее, но склонны к чрезмерной подгонке, и корпорации заставляют пот ребителей платить за вычислительную мощность вперед.
Оптимизированные ML-фреймворки становятся все более доступными на потребительском оборудовании, но хорошие языковые модели в настоящее время требуют дорогих графических процессоров, что делает облачные API единственным вариантом.
Обслуживание языковых моделей через API позволяет оптимизировать выводы, но локальные вычисления обеспечивают большую конфиденциальность в приложениях ИИ.
Стэнфордские исследователи выпустили StableLM под лицензией с открытым исходным кодом, что вызвало различные мнения.
Разработка и использование ИИ являются актуальными темами с различными мнениями о том, что сверхинтеллектуальный ИИ захватит мир.
Заставить домашний сервер Linux спать в режиме ожидания и просыпаться по требованию - простой способ