2023-04-10
Эффект LLama: Утечка вызвала серию альтернатив с открытым исходным кодом для ChatGPT
Оригинал. Случайная утечка "Llama", модели LLM, вызвала движение за альтернативу с открытым исходным кодом таким моделям, как GPT-4 и Cohere, которые доступны только через API. После утечки были выпущены модели Alpaca, Vicuna, Koala, ColossalChat, ChatLLama и другие, построенные на основе Llama. Альтернативы этих моделей с открытым исходным кодом не показывали такого же уровня производительности до выхода Llama. Утечка Llama оказалась одной из самых больших искр инноваций в пространстве LLM с открытым исходным кодом, где назревает война между дистрибуцией с открытым исходным кодом и дистрибуцией на основе API. Эффект LLama доказал, что открытый исходный код является жизнеспособным механизмом распространения фундаментальных моделей, и в пространстве LLM есть несколько интересных источников инноваций.
Discussion Service. Утечка "Эффекта LLama" вызвала появление альтернатив ChatGPT с открытым исходным кодом, что привлекло внимание технических экспертов. GPT-4 демонстрирует более значительный интеллект, предлагая способности к рассуждению и обобщению, чем его предшественник, GPT-3. Текстовые модели ИИ понимают пространственные рассуждения и могут понимать головоломки, но необходима ручная тонкая настройка. Ведутся дебаты о реальном уровне обучаемости языковых моделей в надежде на доступное и демократизированное будущее ИИ. Утечка LLaMA привела к оптимизации с открытым исходным кодом на всех платформах; однако эксперты критикуют пиратство программного обеспечения и регулирование ИИ компаниями. OpenAI может столкнуться с юридическими проблемами за использование моделей для обучения коммерческим результатам. Точность ChatGPT вызывает разногласия: одни считают его бесполезным, другие утверждают, что GPT-4 улучшает некоторые аспекты. У Bing/Sydney и ChatGPT разные характеры. В этом посте не приводятся факты о новых технологиях, а обсуждается природа сжатия текста.
От глубокого к длительному обучению?
Оригинал. Стэнфордские исследователи из лаборатории Hazy Research улучшают длину последовательности в моделях фундамента машинного обучения, уделяя особое внимание созданию почти линейных по времени моделей длины последовательности, которые могут привести к длине контекста в миллионы или даже миллиарды. Модель Hyena масштабируется по длине последовательности до 2k с помощью небольшой нейронной сети, которая параметризует конволюционные фильтры неявно через другую небольшую нейронную сеть с временем реализации O(NlogN). Исследователи изучают обучающие матрицы и их связь с языковыми приложениями. N/A.
Discussion Service. Исследователи из Стэнфорда изучают снижение затрат на самовнимание в длинных последовательнос тях. Оптимизация вычислений для GPU и сопроцессоров может оптимизировать LLM. Скептическое отношение к моделям с более длинным контекстом, соединение LLM с другими системами может создать новые решения. Выпуск GPT-4 приводит к новым исследованиям в области предсказания следующих слов, потенциальным прорывам в ассоциативной долговременной памяти. Понимание представления K,Q,V имеет решающее значение, в то время как РНС и трансформаторы имеют значение для демократизации ИИ. Большая длина контекста может рассматриваться как новая форма поиска.
EY запретили заниматься новым аудиторским бизнесом в Германии
Оригинал. Компании EY было запрещено в течение двух лет проводить аудит новых публично зарегистрированных клиентов в Германии, так как APAS, немецкий бухгалтерский надзорный орган, выписал штраф в размере 500 000 евро и назначил самое суровое наказание за всю историю компании. Это решение, принятое после трехлетнего расследования роли EY в скандале с Wirecard, нанесло значительный финансовый и репутационный удар по осажденному бухгалтерскому гиганту. EY давала компании Wirecard "чистую" оценку, пока компания не потерпела крах в 2020 году на фоне обвинений в масштабных финансовых махинациях. После скандала с Wirecard компания EY якобы выделила до 2 млрд. долларов США в течение трех лет на улучшение аудита в отношении технологий и выявления мошенничества, но ни один аудитор не сможет каждый раз делать все правильно.
Discussion Service. Ernst & Young (EY) было запрещено проводить новые аудиторские проверки в Германии из-за неправильных аудиторских решений и участия в скандале с Wirecard. Консалтинговые фирмы привлекают низкооплачиваемый персонал для минимизации риска, но это может привести к обратному результату. Аудиторы предоставляют только разумную уверенность и не гарантируют, что мошенничество не произойдет. Использование автоматизации и искусственного интеллекта может помочь обнаружить мошеннические действия. Аудит должен быть отделен от консалтинга, чтобы предотвратить конфликт интересов. Существуют споры о ценности консалтинговых фирм и необходимости "участвовать в игре".
Закат на Южном полюсе
Оригинал. На станции Южный полюс солнце вращается по небу почти по идеальному кругу против часовой стрелки, не делая разницы между "ночью" и "днем". В результате закат солнца растягивается на несколько недель, а температура быстро падает, когда солнце находится низко в небе, обычно примерно в середине февраля. Пост содержит фотографии видов заката с разных сторон, а также видео, демонстрирующее странное явление. На станции также соблюдается "летнее время", хотя видимой разницы между временем в конкретный день нет. В сообщении подробно описано, что станция "Южный полюс" переходит на новозеландское время, а также приводятся другие данные, такие как стадии сумерек и первое наблюдение звезды в этом сезоне.
Discussion Service. В посте на Hacker News представлены красивые фотографии заката перед 6-месячной полярной ночью. В комментариях обсуждается проблема нехватки солнечного света, регулирование освещения и строительство научных объектов. Эксперимент с солнечной графикой провалился. Строительство объектов на Южном полюсе впечатляет. Обсуждение странного явления кругового движения солнца и его влияния на условия жизни. Антарктида негостеприимна, и приходится конкурировать за место, чтобы увидеть восход и заход солнца. Комментаторы также обсуждают проблемы с дыханием в условиях экстремального холода. Статья предлагает интересный взгляд на жизнь и исследования в Антарктиде.
Голландский журналист, критически пишущий о Китае, стал мишенью для запугивания
Оригинал. Марие Власкамп, голландская журналистка, критически относящаяся к Китаю, с осени прошлого года подвергается странной схеме запугивания, включающей угрозы взрыва бомбы и сообщения с требованием отозвать статью. Власкамп ранее критически писала о китайском государстве, уделяя особое внимание притеснению уйгуров и китайских диссидентов в Нидерландах. Китайское посольство в Гааге подверглось угрозе взрыва, в которой упоминались Власкамп и Ван Цзиньюй, один из авторов ее статей. Хотя нападавшие на Власкамп не пытаются скрыть китайское происхождение угрозы, китайское посольство отрицает свою причастность к подстрекательству нападавших.
Discussion Service. Голландский журналист стал жертвой схемы запугивания; пользователи Discussion Service обсуждают китайское вмешательство и призывают правительства сделать больше. В Нидерландах и других странах действуют китайские полицейские участки, и странам, возможно, придется самим расследовать так называемые "серые действия". Критики утверждают, что действия Китая нарушают суверенитет, и в результате некоторым политикам стали угрожать. Пользователи Discussion Service обсуждают роль Китая в недавних инцидентах с угрозами взрывов в адрес журналистов-диссидентов, живущих в США; дебаты о правительстве Китая и его действиях в отношении западных журналистов. Голландская компания ASML появляется в контексте того, что Китай стремится завладеть электроникой Запада.
Учреждение USPS в штате Юта занимается только расшифровкой почерка
Оригинал. Служба USPS в штате Юта специализируется на расшифровке беспорядочного почерка на почтовых отправлениях. В этом учреждении работает более 90 человек, которые сортируют почту и используют передовые технологии для ее обработки. Используемая технология позволяет даже сканировать и оцифровывать рукописные адреса. Это предприятие показывает, как развиваются технологии, позволяющие решать традиционные задачи инновационными способами.
Discussion Service. Центр USPS в штате Юта специализируется на расшифровке скорописного почерка с помощью программного обеспечения, предоставленного компаниями Eagle и Siemens. Распознавание почерка было сложной задачей для почтовых работников, и вмешательство человека по-прежнему необходимо. Дискуссия на Hacker News затрагивает вопросы эволюции труда и заработной платы, владения собственностью, государственных субсидий и преимуществ письма в книгах. Считается, что мормонская община Солт-Лейк-Сити способствовала тому, что в учреждении было много квалифицированных читателей. Некоторые предлагают USPS создать мобильное приложение, другие выражают опасения по поводу нарушения конфиденциальности при использовании частных данных.
Apple продолжает попытки удержать розничные магазины от объединения в профсоюз
Оригинал. Компания Apple пытается предотвратить объединение своих розничных магазинов в профсоюз, а также диверсифицировать производство продуктов и компонентов за пределами Китая. Недавно компания пережила сокращение рабочих мест и уход еще одного руководителя. В статье также упоминается о предстоящем выпуске гарнитуры смешанной реальности Apple.
Discussion Service. Apple обвиняют в антипрофсоюзной тактике, включая отказ в выплате пособий; критика тактики переговоров с профсоюзом. Обсуждение сложностей, связанных с объединением в профсоюз и влиянием на работников. Опрос Gallup Poll показывает растущий интерес к объединению в профсоюз, особенно среди работников передовой линии. Некоторые критикуют низкую оплату труда в розничной торговле и отсутствие льгот, другие утверждают, что повышение по службе и увольнения могут негативно сказаться на компании.
PL/Rust 1.0: теперь это надежный язык для Postgres
Оригинал. PL/Rust - это загружаемый процедурный язык, который позволяет писать функции PostgreSQL на языке Rust, обеспечивая доступ к интерфейсу серверного программирования Postgres и безопасные типы Rust над большинством встроенных в Postgres типов данных; функции PL/Rust компилируются в родной машинный код, а не интерпретируются, что обеспечивает наилучшую производительность. PL/Rust теперь является доверенным процедурным языком для Postgres на системах x86_64 и aarch64 при соблюдении соответствующих требований компиляции, что позволяет PL/Rust жить во вселенной безопасного Rust; PL/Rust использует свой собственный драйвер rustc для применения пользовательских линз к функции LANGUAGE plrust пользователя для применения определенных идиом кода, которые, как они знают, не имеют проблем с "I-Unsound". По умолчанию PL/Rust не выполняет кросс-компиляцию, но она должна быть установлена и включена через конфигурацию.
Discussion Service. PL/Rust 1.0 теперь доверен Postgres в качестве альтернативы для функций базы данных. Облачные провайдеры RDS и Supabase позволяют реализовать PL/Rust. Обладает исключительной производительностью, но все еще уязвим для проблем. Триггеры событий и DO-блоки еще не внедрены. Rust имеет доступ к экосистеме разработчиков, эффективные типы и лучшую производительность. Может ограничить оптимизацию для вычислительных триггеров.
Twitter блокирует лайки и ретвиты с упоминанием Substack
Original. N/A.
Discussion Service. Twitter блокирует лайки/ретвиты с упоминанием Substack, вызывая эффект Стрейзанд. Элон Маск обвиняет Substack в соскабливании базы данных Twitter, эксперты считают заявление вздорным. Substack отрицает неправомерное использование API Twitter. Критика результатов поиска, запретов и политики использования API в Twitter. Озабоченность качеством функции ленты новостей Substack. Конкуренция Twitter и Substack развивается, исследуются альтернативные протоколы микроблогов. Сопротивление против превращения проблемы в зрелище, призыв к ответственности руководства. Продолжаются дебаты по поводу злоупотребления API и предполагаемого использования Substack контента Twitter. Предостережение против игнорирования участи уволенных сотрудников Substack.
Z-Library позволит пользователям обмениваться физическими книгами
Оригинал. Z-Library, крупнейшее хранилище пиратских книг, расширяет свои услуги, чтобы включить рынок обмена физическими книгами, и миллионы пользователей смогут забирать книги в мягких обложках в специальных "точках Z" по всему миру. Компания планирует организовать "пункты сбора и хранения" книг, которые "станут связующим звеном между теми, кто делится своими книгами, и теми, кому они нужны", что потребует значительного пространства для хранения и организационных усилий, поэтому приветствуются центры выполнения заказов и сторонние логистические услуги. Объявление, размещенное на сайте, похоже, серьезно, люди предлагают Вьетнам, Бразилию, Португалию, Колумбию, Иран, Узбекистан, Нигерию, Испанию, Индию, Аргентину, Египет, Францию, Эфиопию, Китай и Гану в качестве идеальных мест для Z-Point, и в настоящее время сайт принимает отзывы, чтобы улучшить свой сервис.
Discussion Service. Z-Library позволит пользователям обмениваться физическими книгами, но издатели могут подать на библиотеку в суд; некоторые предлагают сканировать книги, изменить законы об авторском праве или стимулировать сканирование книг. Некоторые спорят о целесообразности и влиянии на издательские компании запуска реального рынка обмена книгами. Модели лицензирования электронных книг имеют печальные последствия, приводя к пиратству как форме протеста. Частные членские библиотеки появились раньше публичных библиотек и часто предоставлялись во временное пользование.
Perseus - альтернатива NextJS на Rust
Оригинал. Perseus - это Rust фреймворк для современных веб-приложений, который генерирует состояние по требованию и передает его в Sycamore, с добавлением I18n на основе Fluent для многоязычной функциональности, плагинов для настройки, все на WebAssembly для высокой производительности, экспортируемое/статически обслуживаемое, простое в установке и удобное для пользователя.
Discussion Service. Пользователи обсуждают Perseus, альтернативу NextJS на основе Rust, причем некоторые предпочитают JS для разработки фронтенда из-за инструментария Rust. Несмотря на это, проникновение Rust на нижние уровни стека JS указывает на потенциал включения JS/TS в Rust-фреймворки, такие как Perseus. Возникают дискуссии о достоинствах Rust по сравнению с Go: одни пользователи считают Rust более подходящим для низкоуровневого программирования, другие - Go более подходящим для веб-разработки. Ценность языка программирования зависит от того, где человек живет и хочет работать. Выпуск Perseus привлекает внимание технически подкованных людей как возможная более быстрая альтернатива Svelte, но подвергается критике за сложность для реального использования.
Детский GPT
Original. N/A.
Discussion Service. Пользователь Discussion Service предлагает использовать бинарные регулярные выражения для языковых отношений, в то время как другой утверждает о значении и намерении. Создатель детского GPT сравнивает его с цепью Маркова. Эксперт рекомендует более совершенные математические инструменты. Пользователь Discussion Service спрашивает о последствиях для широкой публики. Никаких заметных новых технологий или релизов.
Два типа инженеров-программистов
Оригинал. В статье обсуждаются два типа инженеров-программистов: Тип 1, который считает, что проблема проста, если она не техническая, и Тип 2, который считает, что она трудна, потому что в ней участвуют люди. Тип 1 верит в Инженерию с большой буквы Е, в то время как тип 2 фокусируется на людях и рассматривает инженерные проблемы как проблемы, связанные с людьми. Хотя тип 1 более распространен, инженеры типа 2 понимают, что инженерная деятельность связана с хаосом и сложностью, и стремятся строить, несмотря на эти трудности. В статье приведены некоторые примеры, иллюстрирующие различия, но автор еще не дал точного определения и не провел границу между двумя типами.
Discussion Service. Дискуссия о двух типах инженеров-программистов, включая тип 3, и о важности понимания управления продуктом. Дискуссия о балансе между инновациями и стабильностью, а также о необходимости правильного документирования. Дихотомия между опорой на людей и внедрением автоматизированных решений в программной инженерии. Важность объединения всех в единые цели и понимания более широких потребностей бизнеса. Категоризация инженеров-программистов ставится под сомнение, с акцентом на поиск первопричины проблем. Пост служит пищей для размышлений.
Advanced Linux Programming (2001)
Оригинал. 'Advanced Linux Programming' от CodeSourceryLLC - это книга, которая помогает разработчикам GNU/Linux создавать программное обеспечение с удобными для пользователя функциями, расширенными возможностями, такими как многопоточность, межпроцессное взаимодействие и взаимодействие с аппаратными устройствами, а также общее улучшение программ. Кроме того, эта книга учит разработчиков работать в системной среде GNU/Linux, включая ее уникальные ограничения, соглашения и возможности. Эта книга доступна для скачивания по лицензии Open Publication License, Version 1, и поставляется с доступом к образцам кода, распространяемым по лицензии GNU General Public License. Имеются ошибки и переводы книги.
Discussion Service. Пользователи Hacker News обсуждают актуальность книги 2001 года "Advanced Linux Programming" в 2021 году. Некоторые пользователи предлагают обновить устаревшие разделы. Несмотря на то, что это книга для начинающих, она остается полезным ресурсом для разработки Linux API. Приложение для скачивания Aria2 служит альтернативой ограничениям скорости сервера.
ЦЕРН для крупномасштабного ИИ с открытым исходным кодом
Оригинал. LAION e.V. запустил петицию о создании международного, финансируемого государством, открытого суперкомпьютерного исследовательского центра для ИИ, подобного ЦЕРНу, для демократизации исследований ИИ и продвижения исследований в области безопасности. Платформа openPetition направлена на укрепление гражданского участия и поддержку петиций, направленных на изменения. Инициатива направлена на защиту демократических принципов от подрыва избранными крупными корпорациями. Пользователь Discussion Service отметил, что 19% сторонников приходят с laion.ai, а 64% остаются неизвестными. Гражданам предлагается сделать пожертвование в поддержку петиции, которая получила широкое распространение на Hacker News.
Discussion Service. В статье на сайте openpetition.eu подчеркивается, что Европе необходима инициатива с открытым исходным кодом, подобная ЦЕРН, для развития сотрудничества между исследователями ИИ, учеными и предпринимателями. Сотрудничество необходимо для обработки больших данных с большими капиталовложениями. Проекты с открытым исходным кодом необходимы для того, чтобы удержать исследователей ИИ и принести пользу обществу, а не акционерам корпораций. Успех ЦЕРН делает его привлекательной моделью, хотя некоторые считают, что рынок обеспечивает адекватные стимулы. Междисциплинарный характер ИИ требует рассмотрения взаимосвязанных вопросов.
Движок Permafrost - игровой движок OpenGL RTS, написанный на C
Ори гинал. Permafrost Engine - это игровой движок OpenGL 3.3 Real Time Strategy, написанный на C, выполненный по образу старой классики, но включающий в себя некоторые современные идеи. EVERGLORY - флагманская игра, разработанная на Permafrost Engine, демонстрирующая возможности движка на собственном опыте. Краткое описание движка включает в себя список возможностей OpenGL и Python, механику RTS и кроссплатформенные возможности. Лицензия для Permafrost Engine - GPLv3, со специальным исключением для создания ссылок. Инструкции по сборке предоставляются как для Linux, так и для Windows. Для заинтересованных пользователей предусмотрены devlog и электронная почта для вопросов/комментариев по проекту или исходному коду.
Discussion Service. Движок Permafrost с открытым исходным кодом привлекает внимание на Discussion Service для новой RTS-игры с открытым исходным кодом. Четкость шрифта игры Everglory подвергается критике. Запрошено сравнение с другими движками RTS. Тестирование разработчиками на экранах портативных устройств очень важно. Надежда на возрождение жанра RTS. Пользователи обсуждают движки RTS с открытым исходным кодом и используемые языки. Упоминается еще одна реализация движка Frostbite с открытым исходным кодом.
Закрытие устаревшего SSH-соединения
Оригинал.
В заметке обсуждается, как закрыть устаревшую сессию SSH, и говорится, что хотя первым решением может быть закрытие эмулятора терминала, есть лучший способ, использующий встроенные в SSH управляющие последовательности. В статье объясняется, как префикс тильда (), за которым следует команда, может вызвать множество скрытых команд в клиентах SSH, включая команду "завершить сеанс" (.). В заметке отмечается, что следует обратить внимание на то, что перед новой строкой необходимо ставить новый символ, а также предлагается небольшое примечание для тех, кто использует клавиатуру с нордической раскладкой для ввода символа тильда. В конце заметки обсуждается, что делать после использования управляющей последовательности 'terminate session'.
Discussion Service. Пользователь Discussion Service дает совет по SSH. Другой пользователь указывает на проблему с компоновкой, но предлагает обходной путь. Предлагается настроить EscapeChar. Обсуждаются манпейдж SSH, прыгающие хосты и SSH-соединения. Пожелание о "липкой" SSH-сессии. Autossh рекомендуется для автоподключения, а Mosh - для изменения перенаправления портов. Детали шифрования и дополнительные советы. Предостережение против использования Alpine Linux.