2023-04-06
Вспоминая Боба Ли
Технологическое сообщество скорбит о потере Боба Ли, известной фигуры в отрасли. Ли был защитником Java, работал в Google и Square и был известен своей работой над фреймворком введения зависимостей Guice. Он также был соучредителем Android Alliance, инициативы, направленной на продвижение инноваций в экосистеме Android. Вклад Ли в мир технологий получил широкое признание, и его будет очень не хватать коллегам и соратникам. Многие выразили свои соболезнования в социальных сетях, вспоминая Ли как наставника и друга, который всегда находил время для других. Покойся с миром, Боб Ли.
Discussion Service. Боб Ли, соавтор библиотек Guice и Java, известный своими техническими навыками, добротой и скромностью, скончался. Его смерть оставила технологическое сообщество в трау ре и побудила многих людей поделиться своими воспоминаниями и анекдотами о нем. Наследие Ли в виде инноваций и страсти вдохновляло многих, и его вклада в индустрию будет не хватать. Хотя некоторые комментарии были отвлеченными, большинство поделились положительными мыслями и впечатлениями о Бобе.
Боб Ли, бывший технический директор Square, умер после ножевого ранения в Сан-Франциско
Оригинал. Боб Ли, создатель Cash App и главный технический директор Square, был опознан как человек, убитый в Сан-Франциско в результате поножовщины; это событие потрясло мир технологий, люди бурно отреагировали на неожиданную новость. Полиция не произвела никаких арестов и не обнародовала никакой информации о возможных подозреваемых. Ли было 43 года, он был основателем Cash App, а на момент смерти работал директором по продуктам в MobileCoin.
Discussion Service. Бывший технический директор Square Боб Ли, убитый в Сан-Франциско, вызвал дискуссию о преступности и управлении. В комментариях затрагиваются вопросы неравенства благосостояния, бездомности, джентрификации и потенциальных решений. В ходе дискуссии поднимаются вопросы о политических системах и недостоверной статистике преступности в городах США. Пользователи обсуждают потенциальные причины преступности, включая массовую миграцию, неравенство в благосостоянии, влияние системы правосудия и неадекватность действий полиции. Сравнение преступности между различными странами или культурами не является полезным. Проблема преступности сложна и не является результатом какого-то одного фактора.
Рассказать iOS позволяет операторам добавлять сети WiFi, к которым нельзя запретить подключаться
Операционная система iOS позволяет операторам добавлять сети WiFi, от присоединения к которым пользователи не могут отказаться. Эта функция вызывает беспокойство среди пользователей iPhone, у которых ограниченные тарифные планы или проблемы с конфиденциальностью. Функция призвана помочь операторам связи запустить точки доступа WiFi, но она также позволяет им добавлять публичные сети WiFi, к которым пользователи неосознанно подключаются, потенциально собирая конфиденциальные данные. Пользователи имеют ограниченные возможности отключения этой функции, включая полное отключение WiFi или выбор "Забыть эту сеть" каждый раз, когда они сталкиваются с ней. Некоторые пользователи призывают Apple усилить контроль над этой функцией, в то время как другие советуют использовать VPN для защиты своих данных.
Discussion Service. iOS 16.4 позволяет операторам добавлять управляемые сети на устройства, снижать расходы на сотовую связь и предотвращать отключение автосоединения, при этом в настоящее время нет способа удалить эти сети, кроме сброса настроек сети. Пользователи сообщают о краже данных T-Mobile и не отключаемых сетях Wingman в полете, а также выражают шок от того, что операторы диктуют WiFi-соединения без каких-либо средств защиты. Возникают споры о том, как получить полный контроль над устройством, при этом некоторые пользователи рекомендуют GrapheneOS для получения обновлений безопасности. Точки доступа WiFi оператора критикуют за нарушение соединения с локальными устройствами, а некоторые считают эту функцию полезной в местах большого скопления людей.
Основы глубокого обучения для стабильного распространения
Оригинал. "Практическое глубокое обучение для кодеров - часть 2" - это курс, состоящий из более чем 30 часов видеоконтента, который включает освещение алгоритма Stable Diffusion с нуля, в тесном сотрудничестве с экспертами из Stable.ai и Hugging Face. В курсе подробно рассматриваются новейшие методы, и он выходит за рамки даже того, что включает в себя Stable Diffusion, что делает его отличной целью обучения по многим причинам, однако, чтобы получить максимальную отдачу от этого курса, вы должны быть достаточно уверенным практиком глубокого обучения. На протяжении всего курса мы будем изучать методы диффузии, создавать собственные модели с нуля, осваивать концепции Python и PyTorch для реализации наших моделей. Мы рассмотрим основы диффузии, оптимизаторы глубокого обучения, концепции Python, базовые основы, генерацию псевдослучайных чисел, архитектуры нейронных сетей, генеративные архитектуры, трансформаторы и обучение со смешанной точностью.
Discussion Service. В 'Deep Learning Foundations to Stable Diffusion' изучается современное генеративное моделирование, в то время как некоторые рекомендуют сосредоточиться на маркетинге. Курс глубокого обучения от Fast.ai создает основы программирования с нуля и рекомендуется всем, кто им интересуется. Ведутся дебаты о потенциальных опасностях продвинутого ИИ и важности регулирования и этических соображений. Комментаторы предлагают запретить выпуск ИИ, но это не долгосрочное решение, пока все страны не сделают это. В курсе FastAI нет политически или религиозно предвзятых заявлений, а его содержание считается первоклассным. Курс доступен любому человеку с базовым уровнем математики средней школы и охватывает продвинутые концепции.
CAN Injection: Угон автомобиля без ключа
Оригинал. Автоугонщики используют новую технику под названием CAN Injection для обхода систем смарт-ключей в современных автомобилях, используя уязвимости в протоколе связи шины CAN. Сложные системы безопасности автомобилей, включая иммобилайзеры двигателя, стали уязвимыми. Воры используют устройство под названием CAN Injector для угона автомобилей без ключа путем введения поддельных сообщений во внутреннюю систему связи автомобиля. Устройство стоит 10 долларов и содержит микросхему PIC18F, предварительно запрограммированную прошивку, приемопередатчик и дополнительную схему. Быстрое исправление или криптографический обмен сообщениями могут победить CAN Injector. Ян Хакен описывает несколько способов, которыми автопроизводители могли бы помочь защитить автомобили, но преступная эксплуатация техники широко распространена. Это общеотраслевая проблема, требующая обновления программного обеспечения ЭБУ, чтобы победить воров.
Discussion Service. Техника угона автомобилей без ключа, известная как CAN Injection, была освещена на сайте Hacker News. Потребителям следует опасаться шифрования или подписи шины CAN, поскольку это может ограничить использование диагностических инструментов сторонних производителей, что увеличит стоимость ремонта. Шина CAN контролирует множество функций автомобиля, а производители автомобилей безжалостно оптимизируют затраты. Автопроизводители имеют юридические требования по отделению от дилеров, но в некоторых комментариях критикуется их следование духу закона. Автомобильные бренды премиум-класса используют различные меры безопасности для предотвращения взлома автомобиля, включая иммобилайзеры с соответствующими криптографическими протоколами для проверки подлинности сообщений "старт-выпуск" и подписанные кадры CAN/FlexRay/Ethernet для предотвращения подмены сообщений. Дешевые автомобили становятся мишенью, так как их легко угнать, в то время как дорогие автомобили становятся целью насильственного угона. Эксплойт, описанный в статье, может быть применен практически к любому неподключенному автомобилю, выпущенному в последнее десятилетие. Использование шины CAN в критически важных системах, таких как авиация и автомобилестроение, обусловлено простотой ее подключения и экономичностью.
Инженеры Firefox обнаружили ошибку Windows Defender, вызывающую высокую загрузку процессора
Оригинал. N/A (Этот текст не относится к теме).
Discussion Service. Инженеры Firefox обнаружили ошибку Windows Defender, вызывающую загрузку процессора браузера Mozilla. Microsoft выпускает исправление для устранения этой проблемы. Другие антивирусные продукты также могут вызывать проблемы с использованием процессора. Firefox делает больше системных вызовов, чем Chrome, из соображений безопасности. Сравнение показывает, что в некоторых тестах Firefox работает быстрее, чем Chrome. Эксперты обсуждают ограничения Defender, предлагают "песочницу" и аппаратный MFA. Пользователи спорят об эффективности Defender в сравнении с антивирусными программами сторонних производителей. Некоторые пользователи сообщают о проблемах с Defender, вызывающих медленный доступ к файловой системе.
Segment Anything Model (SAM) может "вырезать" любой объект на изображении
Оригинал. Модель Segment Anything Model (SAM), разработанная компанией Meta AI, может с высокой точностью выделить любой объект на изображении. Она может успешно идентифицировать и сегментировать объекты, даже если они частично видны или окклюдированы. SAM улучшает ранее разработанные модели, которые полагались на подсказки местоположения или выделяющиеся объекты. Вместо того чтобы использовать эти подсказки, SAM применяет метаобучение, используя обучение существующей модели, чтобы иметь возможность обнаруживать небольшие, необъективные наборы данных или невидимые объекты. SAM может быть использован для практических приложений, таких как редактирование изображений, а также для исследований в области компьютерного зрения.
Discussion Service. SAM от Meta AI позволяет в режиме реального времени генерировать маски для "вырезания" любого объекта из изображения. Лицензирование модели и впечатляющие возможности по составлению выводов могут сделать ее популярной среди технических специалистов. Среди проблем - низкая скорость работы с моделью RTX 2080ti 11GB и ограниченная точность при работе с прозрачными объектами. Некоторые считают, что стратегия выпуска Meta AI является частью продвижения AR. Пользователи хвалят снижение стоимости аннотации данных SAM, но критикуют его скорость и сравнивают с iOS. Разработка также может иметь потенциальное применение для камер безопасности и интеграцию с AdobeAI.
Биткойн whitepaper спрятан в каждой копии macOS
Оригинал. В каждой современной копии macOS, начиная с Mojave 2018 года, была обнаружена PDF-копия whitepaper Сатоши Накамото о биткоине, доступ к которой можно получить через образец документа в утилите Image Capture. Белая книга используется в качестве образца документа для устройства под названием "Virtual Scanner II", которое либо скрыто, либо не установлено для всех по умолчанию. Причина его включения пока неясна, но, возможно, это был удобный и легкий многостраничный PDF-файл для целей тестирования. В Интернете очень мало информации о Virtual Scanner II или о включении whitepaper в macOS.
Discussion Service. Белая книга биткойна скрыта в каждой копии macOS с 2019 года; спекуляции окружают причину ее включения, а пользователи предостерегают от майнинга на iPhone. Хеш-сумма совпадает с оригинальной версией, но теории о том, зачем она включена, расходятся. Возникли жалобы на поддержку схемы Понци, но пользователи уточняют, что она скрыта. Возможно, Apple включила его для удобства, но сообщение вызывает диалог о влиянии биткойна. Пользователи комментируют картинку, использованную в статье, размер PDF-файла, а также то, что технологии теряют свою художественную забаву.
Бывший технический директор Square Боб Ли зарезан ножом в центре Сан-Франциско
Оригинал. Бывший технический директор Square Боб Ли был зарезан ножом в центре Сан-Франциско, сообщает The Standard. Ли был главным директором по продуктам MobileCoin, криптовалютной компании в Сан-Франциско, и любимым членом сообщества разработчиков программного обеспечения и технологий в районе залива. Полиция Сан-Франциско не сообщила никаких дополнительных подробностей или личности жертвы и просит очевидцев и видеоматериалы для проведения расследования. По состоянию на 2 апреля в Сан-Франциско произошло 12 убийств, что на два больше, чем за тот же период прошлого года. The Standard освещает важные события, включая вопросы уголовного правосудия в Сан-Франциско, а также предоставляет информационные бюллетени и всесторонний обзор политики и культуры Сан-Франциско.
Discussion Service. Бывший технический директор Square Боб Ли зарезан в Сан-Франциско; в комментариях приводятся новые подробности.
Доводы в пользу запрета детей в социальных сетях
Оригинал. Дебаты о запрете доступа детей в социальные сети продолжаются из-за опасений по поводу зависимости и негатива. Были приняты некоторые законопроекты, ограничивающие доступ несовершеннолетних к социальным сетям и удаляющие вызывающие зависимость функции, но это поднимает вопрос о гражданских свободах и ограничивает доступ к новостям и различным точкам зрения, ставя вопрос о том, как следует относиться к социальным сетям. В то время как суды отменяют защиту детей в Интернете, создание сообщений против зависимости и правовые ограничения создают потенциальные конфликты с правами Первой поправки, и родителям, возможно, придется прибегнуть к физическому удалению экранов. Обеспечение безопасности детей в Интернете - это политическая и культурная дискуссия, не оставляющая уверенности в способности правительства регулировать деятельность компаний социальных сетей.
Discussion Service. В одной из статей высказывается идея запрета социальных сетей для лиц моложе 18 лет из-за потенциальной наркотической зависимости; регулирование такого контента сопряжено с трудностями. Дебаты по поводу определения и влияния рекламы, направленной на детей, вызывают озабоченность по поводу регулирования рекламы. Поднимается вопрос о вредном влиянии социальных медиа на психическое здоровье и развитие личности, что побуждает к предложениям запретить корпоративные социальные медиа и алгоритмические каналы. Полный запрет социальных сетей не является решением проблемы; необходимы более тонкие подходы. Пользователи Discussion Service обсуждают эффективные способы ограничения экранного времени и борьбы с негативными последствиями. В центре дебатов - поиск баланса между свободой личности и ответственностью общества. Озабоченность по поводу контроля социальных сетей и выделения дофамина в мозге подталкивает к обсуждению вопроса о запрете социальных сетей, использующих алгоритмы. Целесообразность и потенциальное вторжение в частную жизнь подчеркиваются как опасения по поводу обязательной проверки личности для аккаунтов в социальных сетях. Никаких новых технологий или крупных релизов не обсуждалось.
У Данга скоро будет 65 535 баллов кармы.
Оригинал. Пользователь Discussion Service 'dang', как ожидается, скоро достигнет 65 535 баллов кармы, что является максимальным пределом из-за использования в системе знакового 16-битного целого числа.
Discussion Service. Даниэль Гакл, он же Dang, скоро достигнет 65 535 баллов кармы. Раздел комментариев заполнен хвалебными отзывами о работе Данга. Пользователи рассуждают о том, будет ли карма накатываться, и обсуждают переход на 32-битный int. Стиль модерации и участие Y Combinator ставятся под сомнение. Достижение высокой кармы рассматривается как способ выразить признательность за работу Данга. Достижение высоких показателей кармы дает дополнительные возможности на Discussion Service, такие как повышение/понижение голосов.
Нейронные сети: От нуля до героя
Оригинал. Курс "Нейронные сети: От нуля до героя" Андрея Карпати учит строить нейронные сети с нуля в коде. Курс начинается с основ обратного распространения и переходит к современным глубоким нейронным сетям, таким как GPT. Курс фокусируется на языковых моделях, поскольку они являются отличным местом для изучения глубокого обучения. Предварительные требования включают уверенное программирование и математику начального уровня. Курс включает построение micrograd, makemore, MLP и погружение в некоторые внутренние аспекты MLP. Также рассматриваются вопросы становления Backprop Ninja и построения WaveNet. Кульминацией курса является построение GPT. В видеороликах дается пошаговое объяснение, и основное внимание уделяется формированию компетентности и интуиции в отношении того, как оптимизируются нейронные сети. Курс рекомендует зрителям посмотреть предыдущие видеоролики makemore, чтобы иметь представление об авторегрессионном моделировании языка и основах тензоров и PyTorch nn.
Discussion Service. Курс Андрея Карпати "Нейронные сети: Zero to Hero" за 6 часов набирает более 300 баллов на Hacker News. Пользователи Discussion Service хвалят его стиль преподавания и рекомендуют заниматься кодингом после просмотра видео. Его курс ML под руководством сверстников получает положительные отзывы, несмотря на отсутствие упоминания об этом. Специфический синтаксис Python в видео может вызвать затруднения у некоторых пользователей. В обсуждении оценивается акцент курса на логистической регрессии и перцептроне. Участники считают курс легким для понимания и рекомендуют другие курсы для начинающих. Некоторые пользователи задаются вопросом о минимальных знаниях веб-разработчиков, а у одного пользователя есть теория о связи между ML и алгеброй Хопфа.
Хитрость для достижения потока: Оставьте свою работу сломанной
Оригинал. В статье обсуждается сложность вхождения в состояние "потока" при решении инженерных задач и предлагается трюк для повторного вхождения в поток. Автор предлагает оставить свою работу в состоянии, которое явно нарушено, но легко устранимо, прежде чем отойти от нее. Это позволяет получить четкую отправную точку при возвращении к работе, создавая импульс и уверенность. В статье признается, что этот подход может быть не универсальным и не применимым в командной работе, но автор приглашает к обсуждению других приемов. В статье также есть краткое упоминание о Census Engineering и возможностях трудоустройства.
Discussion Service. Пользователи Discussion Service делятся советами по достижению состояния потока, оставляя работу незавершенной, включая метод "парковаться лицом вниз". Один инженерный директор ввел практику ухода с работы до 18:00, чтобы избежать выгорания, но прекратил ее из-за презентеизма. Пользователи обсуждают преимущества и риски строгих временных правил и изменения культуры работы. Некоторые делятся советами по повышению производительности, например, записывать следующие шаги и практиковать TDD. Оставление кода в "сломанном" состоянии может помочь в последующем возобновлении работы, но это дает неоднозначные результаты.
Стирается ли оперативная память перед использованием в другом контейнере LXC?
Оригинал. В сообщении на Information Security Stack Exchange задается вопрос, стирается ли оперативная память перед использованием в другом контейнере LXC, что приводит к обсуждению избыточного предоставления оперативной памяти в LXC, причем один из пользователей отмечает, что память, выделенная предыдущему процессу в контейнере, очищается. Сообщение на Hacker News углубляется, обсуждая общие библиотеки и защиту пользовательского пространства имен, а ответ разъясняет, что страницы очищаются перед выделением, избыточное выделение не вызывает совместного использования, а память LXC выделяется процессам через пространства имен, но процессы отделены от ресурсов хоста. Наконец, отмечается, что управление памятью на основе glibc не включает очистку, а свободные страницы могут содержать данные.
Discussion Service. Пользователи на Hacker News обсудили эффективность и необходимость автоматического обнуления памяти в Linux, некоторые предложили альтернативные методы очистки неиспользуемой памяти. Один из пользователей отметил, что проблема кроется в дизайне системного вызова fork() в UNIX, и многие программы с большим объемом памяти все еще борются с проблемами OOM. В других комментариях обсуждаются различия между распределением памяти с избыточным и не избыточным объемом в Linux и важность установления ограничений. Статья содержит нюансы распределения памяти в Linux и предназначена для экспертов в этой области.
Перспектива: Open Source WebAssembly-Powered BI
Оригинал. Perspective - это компонент интерактивной аналитики и визуализации данных, разработанный для потоковых и больших наборов данных с настраиваемыми отчетами, приборными панелями и блокнотами. В нем реализован эффективный с точки зрения памяти механизм потоковых запросов на C++ и Python и пользовательский интерфейс, упакованный как пользовательский элемент, работающий на WebAssembly или WebSocket. Пользовательский интерфейс включает интерактивные приборные панели, которые могут быть интегрированы в любой фреймворк веб-приложений. Perspective.js полагается на WebAssembly и Apache Arrow для обеспечения производительности, подобной производительности настольного компьютера в браузере. PerspectivePython реализует Perspective API непосредственно в Python для исследований или производства. Имеются виртуализированные и масштабируемые виджеты, а проект доступен на GitHub с руководствами для пользователей и программистов.
Discussion Service. BI-инструмент Perspective с открытым исходным кодом на базе WebAssembly получил высокую оценку за мощную функциональность, несмотря на проблемы с производительностью: в качестве решения предлагается использовать более легкий вариант. Создатели Perspective работают над улучшением производительности и совместимости с мобильными устройствами. Высказаны некоторые опасения по поводу поддержки Firefox и доступности/дружественного дизайна без клавиатуры. Обсуждались ограничения Sciter, библиотеки Tauri считаются потенциально полезными. Проект Perspective нуждается в улучшении производительности.
Grid World
Оригинал. В статье Александра Миллера "Мир решеток" исследуется роль решеток в его жизни с детства до зрелого возраста, включая их влияние в технологии, искусстве и навигации. В статье затрагивается сила, которой обладают сетки в картировании и контроле пространства, как это видно в та ких играх, как "Морской бой" и "Шахматы". Сетка становится центральным узлом, связывающим воедино личный опыт Миллера, показывая, как она становится частью нашей жизни. Миллер создал сетку для The HTML Review в 2023 году.
Discussion Service. Пользователи Discussion Service очарованы исключительным мастерством и искусством Grid World в веб-дизайне и разработке, а также его влиянием на восприятие. В статье исследуется связь сетки с нашими воспоминаниями и миром, с сопутствующими пиксель-арт визуализациями. В комментариях отмечается связь с нейробиологией с помощью ячеек сетки, а также высказываются критические замечания по поводу рационализации и влияния сетки на природу. Один из пользователей считает, что ему трудно довести до совершенства визуальный дизайн своего личного проекта. Пользователи обсуждают сетчатые узоры Квинса и историю, стоящую за ними. Пользователь Discussion Service делится своими соображениями о соответствии уличной сетки Нью-Йорка. Декорация в виде стола генерирует тускло освещенные столовые, эволюционируя во времени, построена на простом javascript без каких-либо библиотек для забавного технического упражнения.
OpenAI Tokenizer
Оригинал. API OpenAI - это технология, требующая включения JavaScript.
Discussion Service. OpenAI выпустил новый токенизатор для лучшего понимания моделей GPT. Токенизатор разбивает текст на подслова для эффективной обработки, но они лишены присущего им смысла. Пользователи Discussion Service обсуждают ограничения инструмента, такие как группировка на основе пробелов и обработки капитализации. Кодировки, созданные с использованием пар байтов, часто плохо подходят для недопредставленных языков. OpenAI взимает плату за каждый токен, поскольку модель основана на работе с токенами.
Tabloid - язык программирования заголовков для кликбейта
Оригинал. Tabloid - это новый язык программирования, созданный для генерации смешных и кликабельных заголовков, похожих на те, которые можно увидеть в бульварной прессе. Язык использует комбинацию обработки естественного языка, машинного обучения и краудсорсинга для создания заголовков с лингвистическими шаблонами, привлекающими внимание. Это веселый и забавный язык, который не служит никакой реальной цели, но это отличный пример того, как программирование может быть одновременно полезным и забавным. Создатель Tabloid планирует использовать его для создания платформы, которая позволит любому человеку создавать свои заголовки-кликбейты. Пользователи Discussion Service считают этот инструмент интересным и полезным способом понять обработку естественного языка.
Discussion Service. Недавний проект на Hacker News называется Tabloid - The Clickbait Headline Programming Language. Проект увлекательный, написан автором, который утверждает, что написал другие языки, которые, возможно, более полезны. Пользователь Discussion Service опубликовал программу на Tabloid, которая принимает пять чисел и возвращает произведение первых трех чисел плюс произведение последних двух. Автор - человек, который реализовал много интересных проектов, даже использовал Oak для создания кучи личной программной инфраструктуры, среди прочего. Другой пользователь Discussion Service заметил, что писать все с нуля наиболее целесообразно для одиноких разработчиков, но не для команд, где лучше выбрать "скучное".
GPT4, имитирующий FTP-сервер на ftp.disney.com
Оригинал. Чат GPT-4 мастерски имитирует FTP-сервер Disney, используя базовый инструмент ftp cli и приходящие подсказки для выполнения команд, как это сделал бы реальный пользователь. Моделируемый сервер включает эксклюзивный контент Disney в таких папках, как фильмы, саундтреки и обои, и GPT-4 демонстрирует способность перемещаться по локальным и удаленным файловым системам. Новая технология работает хорошо, превосходя ожидания и демонстрируя способность создавать привлекательный контент для энтузиастов Disney. Статья намекает на будущее применение GPT-4 в плагинах интерпретатора кода, позволяющих получать доступ к выдуманным серверам от FTP-клиентов.
Discussion Service. В статье на Hacker News обсуждается GPT4, имитирующий FTP-сервер ftp.disney.com. Пользователи спорят, можно ли считать это "галлюцинацией", несмотря на то, что ИИ может имитировать или "галлюцинировать". Точность ответов, генерируемых ИИ, и восприятие этих результатов как "галлюцинаций" также являются предметом обсуждения. Среди других обсуждаемых тем: потенциальная бесполезность самостоятельно созданных фильмов или телешоу, роль латентного пространства и языка в LLM, влияние технологий на общество и ограничения современных возможностей ИИ. Некоторые пользователи предостерегают от чрезмерной интерпретации возможностей ИИ и отмечают, что его ограничения часто упускаются из виду.
Использование mmap для ускорения загрузки LLaMA
Оригинал. LLaMA использует mmap() для загрузки моделей в 100 раз быстрее, увеличивает стабильность оперативной памяти и позволяет запускать несколько процессов одновременно. Пользователи Linux получают 100-кратное улучшение, а Windows и MacOS - 10-кратное. Новый загрузчик mmap() теперь доступен на GitHub под лицензией MIT. Анонимный соавтор @Slaren добавил поддержку mmap() в LLaMA-7B, обеспечив мгновенное время загрузки без изменения формата файла. Новый формат файла выравнивает тензоры по 32-байтовой границе. В посте рассматриваются потенциальные улучшения в использовании диска и нарушения производительности. Джастин Танни пишет о Twitter и Github в стандартных утилитах, ориентированных на экспертов в этой области. Она ясна и лаконична, без предвзятости и политических или религиозных заявлений. Пользователь Discussion Service комментирует, что пост Танни - отличный ресурс для обучения.
Discussion Service. Использование mmap для ускорения загрузки LLaMA является основной темой статьи, несмотря на драму вокруг атрибуции и технических вопросов в разделе комментариев. Обсуждаются преимущества и недостатки mmap, а также технические достоинства LLaMA.cpp от Facebook. Пользователи обсуждают полезность изменений LLaMA, плюсы и минусы различных функций, предоставляя ценную информацию для технически подкованных читателей, желающих узнать больше об ИИ и реализации моделей. Пост освещает подход системной инженерии к проблеме и тенденцию, связанную с несвободным кодом в библиотеках, порождая дискуссию об использовании огромных страниц и сложности решения узких мест ввода-вывода. Революционное повышение производительности с помощью mmap привлекло внимание экспертов в данной области.