Автор подробно описывает методику использования базовой веб-базы данных csvbase для извлечения и преобразования данных о валютных курсах Европейского центрального банка (ЕЦБ).
Интерактивный процесс включает в себя загрузку данных, их преобразование в более практичный формат с помощью программной библиотеки pandas и загрузку в csvbase; затем визуализацию с помощью gnuplot и комплексный анализ с помощью duckdb.
В тексте особо подчеркивается доступность открытых данных, простота их использования и эффективность данных ЕЦБ как формата обмена.
Сообщение и тема посвящены API Европейского центрального банка, позволяющему пользователям загружать файлы CSV в формате zipfile, который ценится за эффективность и надежность.
В ходе дискуссии упоминаются трудности и ограничения, связанные с использованием государственных данных, поднимаются вопросы неэффективного управления данными и разработки API (Application Programming Interface).
Участники настаивают на необходимости создания удобных, оптимизированных решений, предлагают различные инструменты, методики и форматы данных для эффективного хранения и обработки информации.
Автор разработал автоматизированный инструмент моделирования науки о данных под названием R-Crusher для проекта компании Uber China, известного как Crystal Ball.
Несмотря на успех, проект был прекращен после продажи компании Uber China, что послужило толчком к размышлениям о преходящем характере кода и важности обеспечения ценности для бизнеса.
Автор делится обнадеживающими отзывами сообщества разработчиков программного обеспечения и предлагает ссылки на предыдущие работы для дальнейшего чтения.
В центре обсуждения - вопросы экономического и промышленного шпионажа, владения кодом, прав на использование, кражи интеллектуальной собственности, а также последствия создания и покупки программных средств.
Обсуждаются различные точки зрения: одни делают акцент на этических и юридических последствиях владения кодом, другие выступают за совместное использование кода и критикуют видимое лицемерие Запада.
Особое внимание уделяется пониманию трудовых соглашений и обращению за юридической помощью, что свидетельствует о сложном и зачастую запутанном характере владения кодом и интеллектуальной собственностью в технологической сфере.
Французская сеть супермаркетов Carrefour ввела этикетки, предупреждающие покупателей о "термоусадочной инфляции" - ситуации, когда производители уменьшают размер упаковки вместо того, чтобы повышать цены.
Она применяет эту стратегию для оказания давления на крупных поставщиков, таких как Nestlé, PepsiCo и Unilever, перед переговорами о заключении контрактов. Carrefour определила 26 продуктов, на которые распространяется подобная практика, и планирует нанести аналогичную маркировку, если поставщики не согласятся на снижение цен.
Генеральный директор Carrefour Александр Бомпар подверг критике эти компании за то, что они не оказали содействия в снижении цен, учитывая падение стоимости сырья.
Крупнейшая сеть супермаркетов Carrefour маркирует товары, пострадавшие от "усадки" (феномен уменьшения размеров упаковки при неизменных ценах), чтобы выделить бренды, ответственные за это.
Непрекращающиеся споры об инфляции в Европе связаны с дискуссиями о том, является ли она результатом завышения компаниями нормы прибыли или обусловлена другими факторами, например осложнением цепочки поставок.
Обсуждаются вопросы ценообразования при стихийных бедствиях, влияние закона о стандартизации размеров упаковки, стратегии ценообразования, неравенство доходов и необходимость четкого определения цены за единицу продукции.
Ирландская комиссия по защите данных (DPC) оштрафовала компанию TikTok на 345 млн евро (296 млн фунтов стерлингов) за нарушение законодательства ЕС о персональных данных, касающихся учетных записей пользователей-детей.
Среди нарушений - установка по умолчанию для детских учетных записей публичных настроек, непрозрачность предоставления детям информации о данных, предоставление взрослым доступа к учетным записям детей, а также халатное отношение к оценке рисков для несовершеннолетних пользователей.
До этого компания TikTok также была оштрафована на 12,7 млн фунтов стерлингов британским регулятором данных за незаконную обработку данных 1,4 млн детей младше 13 лет без согласия родителей.
Компания TikTok получила от Европейского союза штраф в размере 345 млн евро за нарушение правил защиты данных, касающихся детских аккаунтов.
Дискуссии после этого решения развернулись вокруг эффективности штрафов как дисциплинарных мер, соблюдения законов о конфиденциальности и обязанности технологических компаний гарантировать безопасность данных.
Некоторые дискуссии отклоняются от темы и переходят к обсуждению действий ЕС в отношении греческого финансового кризиса и ситуации с беженцами - вопросов, не имеющих прямого отношения к основной новости.
На сайте, разработанном Акиёси Китаока, представлена подборка иллюзорных изображений и конструкций, снабженных пояснениями и контекстуальными сведениями.
Помимо основного контента, на сайте размещаются новости, конкурсы и фотографии, связанные с темой оптических иллюзий.
Введены ограничения на использование, в частности, запрещено коммерческое применение, а пользователи предупреждены о том, что содержимое может вызвать головокружение.
В статье рассматривается недавно созданная Акиёси Китаока иллюзия, демонстрирующая, что люди по-разному воспринимают цветные кольца, причем на эффект влияют такие переменные, как очки и движение головы.
Участники форума делятся личным опытом и обсуждают влияние оптических иллюзий на мозг, исследуя более широкую сферу иллюзионного искусства.
Особое внимание уделяется возможностям использования иллюзий в таких областях, как реклама и игры, что подчеркивает постоянное увлечение оптическими иллюзиями.
Автор создает симулятор экономики с нуля и фиксирует свои успехи.
Они начинают с одного предприятия, вводят теории использования и производства ресурсов и постепенно включают в свой состав работников, специализирующихся на производстве воды.
Они вводят деньги в качестве механизма учета общих ресурсов, что придает моделированию интересную динамику.
Обсуждение на Hacker News посвящено созданию симулятора экономики и изучению его связи с экономикой, психологией и реальными данными.
Участники конференции отмечают трудности, связанные с точным моделированием и имитацией сложных экономических систем, подчеркивая важность учета реальных данных и учета недобросовестных участников и эксплуатации.
В ходе дискуссии также затрагиваются вопросы существования и роли капиталистов вне капиталистических экономических систем. В ходе дискуссии подчеркиваются такие ключевые вопросы, как концентрация богатства и ограниченность экономических моделей.
Shrinkflation.io - это сайт, предназначенный для борьбы с "усадкой" (shrinkflation) - явлением, при котором размеры товаров уменьшаются, а цены остаются неизменными.
На сайте ведется журнал поиска различных продуктов и брендов, которые, как известно, подверглись усушке, включая Cadbury Dairy Milk, Mars Maltesers и Nestlé Kit Kat.
Пользователи имеют возможность отслеживать эти продукты и бренды непосредственно с сайта.
На форуме Hacker News ведутся разнообразные дискуссии, посвященные проблеме усушки-утруски: ее влиянию на качество продукции, обманным действиям предприятий, требованию прозрачности и улучшения маркировки, а также связанным с этим этическим дилеммам.
Среди других тем - механизмы отслеживания усушенных товаров, вопросы, связанные с тестированием на животных, доступность и влияние на здоровье нездоровой пищи.
Под термоусадочной инфляцией понимается процесс, при котором компании уменьшают размер или количество своей продукции при сохранении или увеличении цены, часто без четкого информирования потребителей.
На сайте представлено программное обеспечение для резервного копирования с открытым исходным кодом Kopia, отличающееся скоростью, безопасностью и совместимостью с различными операционными системами через GUI (графический интерфейс пользователя) и CLI (интерфейс командной строки).
Kopia позволяет создавать зашифрованные, сжатые и дедуплицированные резервные копии с использованием выбранного пользователем облачного хранилища и имеет настольное приложение для управления моментальными снимками, политиками и восстановлением файлов.
Сайт приглашает к внесению вкладов и сообщений об ошибках в Kopia через процесс Pull Request на GitHub, а также привлекает пользователей к обсуждению функций и проблем Kopia в Slack.
Kopia, быстрое и безопасное программное обеспечение для резервного копирования с открытым исходным кодом, находится в стадии обсуждения из-за некоторых недостатков, включая некорректное хранение данных и медленное обновление релизов.
Пользователи сталкивались с такими проблемами при работе с Kopia, как невозможность завершения резервного копирования, неточные индикаторы выполнения и проблемы с восстановлением больших массивов данных.
Также были рассмотрены альтернативы Kopia, преимущества автономного резервного копирования и необходимость комплексного тестирования сервисов резервного копирования в корпоративной среде.
В статье рассматривается механизм запуска процесса в Linux и подготовки стека выполнения, в частности, рассматривается момент вызова процессом функции execve().
Он обеспечивает глубокое изучение деталей бинарного файла, используя gdb (GNU Debugger) для анализа инструкций и программного стека.
В статье также показано, как ядро Linux выделяет и заполняет стек информацией, включая списки аргументов и переменные окружения, что позволяет получить сведения, полезные для таких инструментов, как 'Zapper'.
Тема обсуждения на Hacker News посвящена пониманию того, как Linux инициирует процесс, и интерпретации заголовков ELF (Executable and Linkable Format).
Для дальнейшего углубленного изучения данной темы предлагается множество ресурсов и ссылок.
Частью обсуждения является критика и отзывы о качестве комментариев и информации, которыми делятся другие пользователи в этой теме.
Компания Google согласилась выплатить 93 млн. долл. в рамках мирового соглашения в связи с обвинениями в введении потребителей в заблуждение относительно методов отслеживания местоположения.
Генеральный прокурор Калифорнии подал иск, обвинив компанию Google в том, что она продолжает собирать и хранить данные о местоположении пользователей, даже когда они отключают историю местоположения.
Урегулирование также включает условия, согласно которым Google должна быть более прозрачной в отношении своих методов отслеживания и требовать согласия перед внесением изменений в настройки конфиденциальности.
Компания Google согласилась на выплату 93 млн. долл. в связи с обвинениями в нечестной практике отслеживания местоположения, что, учитывая годовой доход Google, было оценено как недостаточное условие для предотвращения нарушений в будущем.
Возникают дискуссии о необходимости ужесточения наказаний и законодательства по защите конфиденциальности, а также критика доминирующего положения Google в Интернете и эффективности мер по урегулированию споров.
Высказывались опасения по поводу сложного управления настройками истории местоположения, несанкционированного изменения настроек устройства некоторыми приложениями, а также требования наличия учетной записи Google для активации отслеживания местоположения.
Исследователи из Прицкеровской школы молекулярной инженерии Чикагского университета создали "инверсную вакцину" для потенциального лечения аутоиммунных заболеваний, включая рассеянный склероз и диабет I типа.
В отличие от традиционных вакцин, которые обучают иммунную систему распознавать и бороться с вирусами или бактериями, новая вакцина устраняет распознавание иммунной системой специфической молекулы, что позволяет избежать аутоиммунных реакций.
В "инверсной вакцине" используются процессы, происходящие в печени, которые позволяют отмечать молекулы разрушающихся клеток с пометкой "не атаковать". Предварительные лабораторные испытания показали, что вакцина эффективно устраняет аутоиммунные реакции, связанные с рассеянным склерозом, и уже начались испытания на безопасность.
Исследователи из Чикагского университета разработали "инверсную вакцину", направленную на лечение аутоиммунных заболеваний путем устранения памяти иммунной системы о проблемных молекулах.
Эта вакцина представляет собой более точную альтернативу существующим методам иммуносупрессивной терапии, что обещает более эффективные результаты.
Остаются опасения относительно возможных побочных эффектов, а также более широкого понимания аутоиммунных заболеваний. Обсуждается также роль вакцинации против оспы и значение поддержания иммунитета.
Законодательное собрание Калифорнии приняло законопроект Delete Act, направленный на упрощение для потребителей процесса удаления личной информации от брокеров данных.
Калифорнийскому агентству по защите частной жизни будет поручено создать систему, позволяющую потребителям требовать от брокеров данных удаления их записей в рамках одного запроса, что повысит прозрачность и контроль над персональными данными.
Некоторые предприятия и отраслевые ассоциации выступили против законопроекта, ссылаясь на возможные нежелательные последствия и потенциальный ущерб для малого бизнеса. В настоящее время законопроект находится на утверждении у губернатора.
В Калифорнии принят закон, направленный на предоставление частным лицам возможности легко удалять свои данные у брокеров данных, хотя он не распространяется на такие компании, как Google и Facebook, которые уже обязаны удалять данные по запросу.
Основной целью законопроекта является усиление контроля и защиты персональных данных, однако высказываются опасения относительно его эффективности и исключения из него конкретных предприятий.
Также обсуждаются такие темы, как продажа данных, кредитные баллы и эффективность существующих нормативных актов. Далее рассматривается закон Калифорнии о защите частной жизни потребителей (CCPA), его последствия, потенциальные лазейки и сложности удаления данных. Законопроект обязывает агентства создавать механизм удаления данных и предусматривает наказание за его несоблюдение.
Instagram добился значительного роста, достигнув 14 млн. пользователей чуть более чем за год, имея небольшую команду, состоящую всего из трех инженеров.
Этого удалось достичь благодаря трем основным принципам и надежному технологическому стеку, включающему такие технологии, как AWS, Ubuntu Linux, EC2, NGINX, Django, Gunicorn, Postgres, S3, Redis, Memcached, pyapns и Gearman.
Для обеспечения эффективности и надежности инфраструктуры они также использовали такие средства мониторинга, как Sentry, Munin, Pingdom и PagerDuty.
В статье рассказывается о впечатляющем достижении Instagram - масштабировании до 14 млн. пользователей с помощью небольшой команды, состоящей всего из трех инженеров, что иллюстрирует потенциальную эффективность небольших по размеру команд в стартапах.
В ней освещается простая, но эффективная архитектура Instagram, а также рассматривается использование микросервисов при разработке приложений с учетом их преимуществ и проблем.
В тексте также рассматриваются практические последствия масштабирования баз данных и архитектура баз данных Instagram, упоминаются проблемы, с которыми столкнулась компания Roblox при реализации микросервисов.
Subdomain Center - это исследовательский проект, разработанный ARPSyndicate, который использует такие инструменты, как Apache's Nutch и OpenAI's Embedding Models для обнаружения большего количества субдоменов, чем любой другой сервис.
Во избежание злоупотреблений сервис ограничивает количество запросов пользователей до трех в минуту, при этом возможны простои в связи с повышенным спросом.
Наряду с Subdomain Center, ARPSyndicate предлагает утилиту командной строки Puncia и другие ресурсы, связанные с наблюдением за эксплойтами, управлением поверхностью атаки, сканированием уязвимостей и анализом открытых источников.
На форуме обсуждаются уязвимости и риски, связанные с поддоменами, а пользователи делятся различными методами обнаружения, такими как сканирование IPv4-интернета, использование журналов прозрачности сертификатов, а также применение собственных инструментов.
Высказываются опасения по поводу проблем конфиденциальности и безопасности общедоступных поддоменов и сложности защиты внутренних поддоменов, а также рекомендуется проявлять осторожность при открытии портов и раскрытии сервисов для обеспечения дополнительной безопасности.
Для повышения безопасности предлагается реализовать блокировку портов или использовать Tor, а также преимущества использования IPv6 по сравнению с IPv4 в этих контекстах.
В блоге опровергается утверждение Тима Перри о том, что Android 14 ограничивает все изменения в системных сертификатах, и приводятся доказательства того, что корректировки все же могут быть внесены, а пользователи могут отозвать доверие к системным сертификатам.
Автор утверждает, что разработчики могут добавлять доверенные системные сертификаты через ADB (Android Debug Bridge) - универсальный инструмент командной строки, используемый для взаимодействия с устройством, работающим под управлением ОС Android.
Признавая изменения в Android 14, делается вывод о сохранении свободы пользователей, а также о том, что эти изменения способствуют обновлению хранилища сертификатов по воздуху, что предполагает ожидаемое обновление до средств, совместимых с Android 14.
Обсуждаются модификации системных сертификатов на Android 14, а также последствия и потенциальные преимущества рутирования устройств, включая получение доступа к определенным функциям и приложениям за счет других.
Пользователи оценивают альтернативные методы, такие как ADB + Frida или Magisk + safetynet-fix, позволяющие внести изменения и сбалансировать свободу пользователя и защиту устройства.
В сообщении подчеркивается важность ответственности пользователя перед лицом растущей враждебности со стороны устройств Android и Apple. В нем высоко оцениваются меры безопасности, принятые компанией Apple, и предлагается включить режим разработчика с предупреждениями.
Правительство США начало антимонопольное разбирательство против компании Google, обвиняя технологического гиганта в том, что он установил свое доминирующее положение на рынке поисковых систем путем силовых сделок, а не в результате честной конкуренции.
Дело будет касаться практики Google, связанной с неисполнением обязательств и использованием данных для сохранения монопольного положения, а также выяснения того, выгодны ли эти действия потребителям или служат только интересам Google.
В ходе судебного разбирательства будет изучен вопрос о потенциальном ущербе для потребителей и рекламодателей в связи с доминирующим положением Google, и суть решения судьи будет определяться тем, действительно ли бесплатные продукты, такие как поисковые системы, могут нанести ущерб потребителям.
В ходе судебного разбирательства по делу "США против Google" выясняется, нарушает ли плата за то, чтобы стать поисковой системой по умолчанию, правила конкуренции, и ставится цель установить более четкие правила.
Критики считают, что заявления сотрудников используются не по назначению, отвлекая внимание от реальной антиконкурентной практики. Основные опасения вызывают доминирующее положение Google, отсутствие эффективной конкуренции, а также влияние на другие поисковые системы, такие как Bing и Mozilla.
Пользователи выражают неудовлетворенность существующими альтернативами и высказывают пожелания о создании более совершенных поисковых систем. Также обсуждаются вопросы использования Интернета, независимости Chromium и финансовой устойчивости Mozilla.
В статье представлена инновационная методика компактного хранения шахматной позиции в 26 байтах.
Метод использует уникальное расположение королей и пешек для представления взятий, способности к рокировке и цели en passant, а также отличительное кодирование продвижений, что позволяет сократить необходимый объем памяти.
Технология хранения включает использование растровых изображений и сортировки для эффективной характеристики различных аспектов позиции, что позволяет хранить шахматную позицию всего в 26 байтах.
В статьях рассматриваются методы более компактного и эффективного сжатия и хранения шахматных позиций, позволяющие снизить требования к объему данных при сохранении важной информации.
В ней рассматриваются различные стратегии, такие как магия на уровне битов, использование технологии блокчейн, хранение истории ходов, вызов памяти и компактное кодирование специально для шахматных движков. Также подчеркивается преимущество сжатых форматов перед JSON.
Цель - повышение производительности, эффективности хранения и обработки данных в шахматных базах данных и приложениях.
В статье представлен подробный список рекомендуемой литературы для разработчиков игр, охватывающий множество тем, относящихся к данной области.
Эти книги дают ценные знания в области компьютерной графики, программирования игр, искусственного интеллекта, а также моделирования физики и динамики.
Кроме того, в этих томах рассматриваются такие темы, как проектирование и применение, линейная алгебра, оптимизация и алгоритмы, что дает обширную базу знаний для начинающих и уже состоявшихся разработчиков игр.
В форуме обсуждается подборка книг по разработке игр, даются рекомендации по дальнейшему чтению.
Есть раздел, посвященный уважаемому, ушедшему из жизни разработчику игр, в котором говорится о его влиянии в этой области.
Особое внимание уделяется кватернионам - системе комплексных чисел, которую пользователи находят полезной при разработке игр для представления трехмерных вращений.
Иэн Муллан использовал MusixMatch, Toma.HK и Covers FM во время Music Hack Day London 2012 для создания инновационного хака с использованием песни Джонни Кэша "I've Been Everywhere".
Хак представляет собой карту, на которой изображен географический маршрут, пройденный легендарным исполнителем Джонни Кэшем, о котором говорится в его песне.
Это творческое географическое представление визуализировано с использованием картографических данных Google и INEGI.
В статье рассказывается о сайте под названием "Johnny Cash Has Been Everywhere (Man)", на котором собраны все места, упомянутые в песне Джонни Кэша "I've Been Everywhere".
Обсуждения пользователей в статье посвящены смежным темам, в том числе кратчайшему пути между указанными пунктами назначения.
В ходе дискуссии затрагиваются и личные темы, например, проблемы наркомании Джонни Кэша.
В статье рассматривается стратегия оптимизации больших языковых моделей (БЯМ) с помощью тонкой настройки на тщательно отобранных наборах данных.
В ней подробно описывается процесс тонкой настройки 7Б-параметрической языковой модели на наборе данных LIMA и упоминается о возможностях автоматической фильтрации качества.
В статье также говорится о конкурсе NeurIPS LLM Efficiency Challenge и подчеркивается значимость как наборов данных, созданных LLM, так и наборов данных, собранных человеком.
В статье рассматривается концепция совершенствования больших языковых моделей (LLM) путем их использования для составления небольших наборов данных высшего качества.
Этот процесс предполагает обучение широкой модели на разнообразных данных, использование ее для выделения исходных данных в незапятнанные наборы данных и последующее обучение на них более мелких моделей. Цель состоит в том, чтобы разработать модели, которые будут более доступны, быстрее делать выводы и, возможно, будут свободны от проблем с авторскими правами.
Обсуждаются и другие методы повышения интеллектуальности LLM, такие как генерация с расширенным поиском (RAG) и использование наборов данных тонкой настройки для перевода языка.