Gå til hovedinnhold

2024-10-11

2 H100's: Hoe de GPU-verhuurzeepbel barstte

  • De GPU-markt heeft een aanzienlijke prijsdaling ondergaan, waarbij H100 GPU's zijn gedaald van $8/uur naar minder dan $2/uur als gevolg van overaanbod en veranderende vraagdynamiek. Factoren die bijdragen aan deze verschuiving zijn onder andere gereserveerde compute doorverkopen, open model fine-tuning, en een vermindering van nieuwe foundation model bedrijven, waardoor het huren van GPU's gunstiger is dan kopen. De opkomst van open-weight modellen en meer betaalbare alternatieven, zoals AMD en Intel GPU's, beïnvloeden de markt, met een groeiende nadruk op AI-inferentie en fine-tuning, ondersteund door platforms zoals Featherless.AI die kosteneffectieve AI-oplossingen bieden.

Reaksjoner

  • De GPU-verhuurmarkt heeft een dramatische prijsdaling ondergaan voor H100 GPU's, van $8/u naar $2/u, als gevolg van een overaanbod en verminderde vraag van nieuwe basismodelbedrijven.
  • Deze prijsverlaging heeft de GPU-verhuurzeepbel doorgeprikt, wat gevolgen heeft voor investeerders die zwaar hebben geïnvesteerd in GPU-infrastructuur.
  • Het artikel onderzoekt de mogelijkheden voor een toegankelijker AI-landschap met goedkopere rekenopties, hoewel de langetermijnhoudbaarheid van deze lage prijzen en de toekomst van AI-infrastructuur onzeker zijn.

Tesla Robotaxi

Reaksjoner

  • Tesla toonde onlangs zijn Robotaxi, waarbij een visie voor autonome taxi's werd benadrukt die contrasteert met de aanpak van Waymo, dat dure hardware zoals LiDAR gebruikt. Het ontwerp van de Robotaxi, dat geen stuur heeft, wijst op een toekomst die afhankelijk is van volledige autonomie, hoewel het te maken heeft met regelgevende en technologische uitdagingen. Tesla's Full Self-Driving (FSD) technologie is een onderwerp van debat, waarbij critici de gereedheid voor onbewaakt rijden in twijfel trekken en voorstanders optimistisch zijn over het potentieel ervan.

Begin met het uitschakelen van geïnstalleerde extensies die nog steeds Manifest V2 gebruiken in de stabiele versie van Chrome

  • Google is bezig met het uitfaseren van Manifest V2 voor Chrome-extensies, waarbij waarschuwingen en het uitschakelen van deze extensies beginnen op pre-stabiele kanalen vanaf 9 oktober 2024.
  • Gebruikers worden aangemoedigd om over te stappen naar Manifest V3-alternatieven, waarbij ondernemingen tot juni 2025 de tijd hebben om de overgang te voltooien met behulp van het ExtensionManifestV2Availability-beleid.
  • Het afbouwproces begon op 3 juni 2024, en de Chrome Web Store heeft sinds juni 2022 geen nieuwe Manifest V2-extensies meer geaccepteerd voor privégebruik en sinds januari 2022 voor openbare of niet-gelijste extensies.

Reaksjoner

  • Chrome schakelt over van Manifest V2 naar Manifest V3-extensies, wat gevolgen heeft voor adblockers zoals uBlock Origin door hun mogelijkheden te beperken. Terwijl Chrome deze overgang maakt, zijn browsers zoals Firefox, Vivaldi en Brave van plan om voorlopig ondersteuning te blijven bieden voor Manifest V2. Deze verandering heeft discussies op gang gebracht over gebruikerscontrole en privacy, waarbij sommige gebruikers overwegen om over te stappen naar alternatieve browsers om effectieve adblockfuncties te behouden.

Een Lisp-compiler naar RISC-V geschreven in Lisp

  • uLisp is een versie van de Lisp-programmeertaal ontworpen voor microcontrollers, die platforms zoals Arduino, Raspberry Pi en ESP32 ondersteunt. Het bevat functies zoals debugging, SD-kaartinterface en I2C/SPI seriële interfaces, met voorbeelden voor toepassingen zoals LED-knipperen en gegevensregistratie. Een belangrijke functie is de Lisp-compiler voor RISC-V, die Lisp-functies compileert naar machinecode, met ondersteuning voor recursieve functies en tail-call optimalisatie voor verbeterde prestaties.

Reaksjoner

  • Een Lisp-compiler voor RISC-V, geschreven in Lisp, is in ontwikkeling maar mist bepaalde operasjoner en funksjoner for å være selvkompilerende. Kompilatoren støtter grunnleggende Lisp-funksjoner som car og cdr, men er ennå ikke fullstendig. uLisp fremheves for sin enkelhet og egnethet for mikrokontrollere, med RISC-V som en attraktiv plattform for teknologientusiaster og hackere.

De Nobelprijs voor de Vrede 2024 toegekend aan Nihon Hidankyo

  • De Nobelprijs voor de Vrede 2024 is toegekend aan Nihon Hidankyo, een Japanse organisatie van overlevenden van de atoombom, bekend als Hibakusha, voor hun pleidooi voor een kernwapenvrije wereld. De Hibakusha hebben aanzienlijk bijgedragen aan het vestigen van het "nucleaire taboe," een wereldwijde norm tegen het gebruik van kernwapens, door hun indrukwekkende getuigenissen. Deze erkenning sluit aan bij Alfred Nobels visie om inspanningen te eren die de mensheid ten goede komen en blijft nieuwe generaties inspireren tot nucleaire ontwapening.

Reaksjoner

  • De Nobelprijs voor de Vrede 2024 werd toegekend aan Nihon Hidankyo, een Japanse organisatie die pleit tegen kernwapens, en benadrukt de aanhoudende dreiging van kernwapens te midden van wereldwijde spanningen. - Deze prijs dient als een herinnering aan de verwoestende impact van nucleaire oorlogsvoering, zoals geïllustreerd door Hiroshima en Nagasaki, en benadrukt het belang van ontwapening. - De prijsbespreking omvat ook de complexiteit van nucleaire afschrikking, internationaal recht en de geopolitieke dynamiek tussen kernmachten.

Alternatieven voor WordPress

  • Het artikel is bijgewerkt om meer alternatieven voor Content Management Systemen (CMS) op te nemen vanwege de toegenomen interesse, vooral in het licht van de huidige WordPress-situatie. De lijst bevat downloadbare CMS-opties zoals Ghost, Kirby, Indiekit, Craft CMS, ClassicPress, Statamic, Wagtail en Textpattern, met uitzondering van API- en git-gebaseerde CMS'en. Opmerkelijke vermeldingen zijn onder andere Ghost vanwege zijn ingebouwde e-mailfuncties, Kirby vanwege zijn bestandsgebaseerde benadering en ClassicPress als een door de gemeenschap geleide WordPress-fork, terwijl sommige CMS'en zoals Anchor niet langer worden onderhouden.

Reaksjoner

  • Jekyll op GitHub Pages wordt aanbevolen voor eenvoudige blogs die Markdown gebruiken, omdat het gebruiksgemak biedt zonder dat er een lokale installatie nodig is en het de overdraagbaarheid van inhoud tussen platforms mogelijk maakt.
  • Alternatieven voor WordPress voor bloggen zijn onder andere Chyrp Lite, Typecho, Quartz en Logseq, terwijl Drupal, ProcessWire en Wagtail meer flexibiliteit bieden voor ontwikkelaars.
  • Statische nettstedsgeneratorer som Astro og Publii blir stadig mer populære, og for bildehosting foreslås alternativer som S3+Cloudfront eller CloudFlare.

Google Play heeft mijn spel verwijderd en wil me niet vertellen waarom

  • Tukkun, een onafhankelijke spelontwikkelaar, heeft gewerkt aan "Anti-Idle: Reborn," dat werd goedgekeurd door Google en Apple, en is al een maand in gesloten bèta. Op 7 oktober 2024 beëindigde Google Tukkun's account onder vermelding van "voorgaande overtredingen" en "hoogrisicogedrag," maar gaf geen duidelijke uitleg, wat zijn werk en inkomen beïnvloedde. Deze situatie benadrukt een breder probleem waarbij ontwikkelaars vage accountbeëindigingen ervaren, wat oproept tot meer transparantie en duidelijkheid van platforms zoals Google.

Reaksjoner

  • Google Play verwijderde het spel van een ontwikkelaar zonder uitleg, wat de aanzienlijke controle benadrukt die technologiebedrijven over ontwikkelaars hebben.
  • Vergelijkbare incidenten zijn gemeld bij Amazon en Google, waar accounts of apps worden verbannen zonder duidelijke redenen of adequate ondersteuning.
  • Ontwikkelaars worden aangemoedigd om hun platforms te diversifiëren om risico's te beperken, aangezien deze situatie bredere zorgen benadrukt over de klantenservice van techgiganten en de afhankelijkheidsrisico's van het bouwen van bedrijven op hun platforms.

Korrelpatrouille

Reaksjoner

  • In 2023 gingen 221 zeecontainers verloren op zee, een klein aantal vergeleken met de 250 miljoen die jaarlijks worden verscheept, wat de schaal van wereldwijde scheepvaartoperaties benadrukt.
  • Plastic korrels, bekend als nurdles, zijn zichtbare verontreinigende stoffen op stranden en kunnen afbreken tot microplastics, die de voedselketen binnendringen en mogelijk schade veroorzaken, hoewel ze niet de belangrijkste bron van plasticvervuiling in zee zijn.
  • De diskusjon om plastforurensning understreker dens kompleksitet og globale påvirkning, inkludert eksport av avfallsproblemer fra utviklede til utviklingsland og den potensielle tilpasningen av økosystemer til plastforurensning, noe som vekker bekymring for fremtidig plastbruk.

Initiële CUDA-prestatielessen

  • Malte Skarupke bespreekt zijn ervaring met het leren van CUDA en merkt op dat het in wezen C++ is met extra functies voor parallelle verwerking.
  • Belangrijke lessen voor het optimaliseren van CUDA-prestaties omvatten geheugencoalescentie, het begrijpen van verschillende geheugentypen en het maximaliseren van parallelisme door het gebruik van veel threads en het scheiden van taken in verschillende kernels.
  • Skarupke benadrukt dat het schrijven van CUDA vergelijkbaar is met het oplossen van een puzzel, waarbij de primaire focus moet liggen op het parallel uitvoeren van taken voordat er geoptimaliseerd wordt voor snelheid.

Reaksjoner

  • De discussie richt zich op het optimaliseren van CUDA-code voor GPU-prestaties, specifiek voor een LHC (Large Hadron Collider) experimenttrigger, door het beheren van registers, gedeeld geheugen en threadblokken.
  • Het benadrukt de afwegingen tussen bezetting (het aantal actieve threads), registergebruik en geheugentraagheden, en belicht de evolutie van programmeerbeperkingen in CUDA.
  • Het gesprek vergelijkt de prestaties van GPU's en CPU's, waarbij verschillen in energieverbruik en rekencapaciteiten worden opgemerkt, en benadrukt het belang van het balanceren van bezetting en prestaties voor toekomstige hardware- en softwareontwikkelingen.

De FBI heeft een munt gecreëerd om cryptopomp-en-dumpregelingen te onderzoeken

  • De FBI ontwikkelde een op Ethereum gebaseerde cryptocurrency, NexFundAI, om crypto pump-and-dump-schema's te onderzoeken en bloot te leggen, wat leidde tot aanzienlijke juridische stappen. Er werden aanklachten ingediend tegen 18 individuen en entiteiten wegens fraude en marktmanipulatie, waarbij de Securities and Exchange Commission zich richtte op drie marktmakers en negen anderen voor het opblazen van crypto-activa prijzen. Het ministerie van Justitie heeft met succes $25 miljoen aan frauduleuze opbrengsten teruggevorderd, die aan investeerders zullen worden teruggegeven, wat de effectiviteit van de operatie in de strijd tegen crypto-fraude benadrukt.

Reaksjoner

  • De FBI ontwikkelde een cryptocurrency om pump-and-dump-schema's te onderzoeken, wat frauduleuze praktijken zijn die de prijs van een activum kunstmatig opdrijven voordat het wordt verkocht.
  • Dit initiatief heeft debatten aangewakkerd over uitlokking en de ethische implicaties van wetshandhaving bij het creëren van vervalste effecten.
  • De discussie strekt zich uit tot bredere zorgen over de legitimiteit van cryptocurrencies en de rol van de overheid bij het reguleren van digitale valuta.

NotesHub: platformuavhengig, Markdown-basert notatapp

  • De app is beschikbaar op meerdere platforms, waaronder iOS, Android, Windows, Mac, Apple Vision Pro en het web, waarbij de webversie een gratis Progressive Web App is die offline werkt. Notities kunnen worden opgeslagen in Git-repositories, met de beste integratie met GitHub, en ondersteunen ook zelf-gehoste opties zoals Gitea, bestandssystemen of iCloud Drive. De app ondersteunt rijke Markdown-syntaxis met extensies voor het maken van Kanban-borden, Excalidraw-gebaseerde whiteboards, en bevat functies zoals Mermaid en ABC-muzieknotatie.

Reaksjoner

  • NotesHub is een veelzijdige, Markdown-gebaseerde notitie-app die beschikbaar is op meerdere platforms, waaronder iOS, Android, Windows, Mac, Apple Vision Pro en het web. De app biedt een gratis Progressive Web App-versie, terwijl de native versies een eenmalige betaling vereisen, met sterke integratie voor het opslaan van notities in Git-repositories zoals GitHub, GitLab of Bitbucket. Het beschikt over rijke Markdown-syntaxis, Kanban-borden en Excalidraw-gebaseerde whiteboards, waarbij gebruikers de schone vormgeving en offline mogelijkheden prijzen, hoewel het niet open-source is en beperkte Linux-ondersteuning heeft.

Dead man's switch zonder afhankelijkheid van je infrastructuur

  • Een nieuw Go-project, Deadcheck, is ontwikkeld om te functioneren als een dode man-schakelaar zonder afhankelijk te zijn van cron-jobs, timers of databases. Deadcheck integreert met PagerDuty, een populair incidentbeheerplatform, om incidenten gesnoozed te houden totdat een check-in wordt gemist, waarna het een waarschuwing activeert. Dit project is opmerkelijk vanwege zijn innovatieve benadering van het beheren van waarschuwingen en incidenten zonder traditionele plannings- of databaseafhankelijkheden.

Reaksjoner

  • Deadcheck is een Go-project ontworpen als een dode man’s schakelaar, waardoor de noodzaak voor cron-jobs of databases wordt geëlimineerd, en integreert met PagerDuty om waarschuwingen te beheren.
  • Het project heeft discussies aangewakkerd over dødmannsbrytere, inkludert juridiske aspekter og alternative løsninger som å bruke advokater eller blokkjedesystemer.
  • Gebruikers hebben bestaande diensten zoals Cronitor of OpsGenie voorgesteld voor vergelijkbare functionaliteiten, en het project is van plan om integraties uit te breiden buiten PagerDuty.

Begrijpen van de beperkingen van wiskundig redeneren in grote taalmodellen

  • Het artikel "GSM-Symbolic" van Iman Mirzadeh et al. onderzoekt de wiskundige redeneercapaciteiten van grote taalmodellen (LLM's) met behulp van de GSM8K-benchmark. De auteurs introduceren GSM-Symbolic, een nieuwe benchmark met symbolische sjablonen, waaruit blijkt dat LLM's moeite hebben met variaties in numerieke waarden en extra clausules in vragen. De studie suggereert dat LLM's mogelijk redeneringen uit trainingsdata repliceren in plaats van echte logische redeneringen uit te voeren, wat hun beperkingen in wiskundig redeneren benadrukt.

Reaksjoner

  • Grootschalige taalmodellen (LLM's) ondervinden uitdagingen bij wiskundig redeneren, vooral wanneer problemen irrelevante informatie bevatten, wat hun prestaties beïnvloedt. Deze beperking benadrukt de afhankelijkheid van LLM's van patroonherkenning boven logisch redeneren, waardoor ze minder effectief zijn in real-world scenario's met overbodige details. Ondanks vooruitgang hebben LLM's nog steeds moeite om belangrijke informatie van ruis te onderscheiden, een cruciale vaardigheid die nodig is voor praktische toepassingen.

ARIA: Een Open Multimodaal Native Mixture-of-Experts Model

  • Aria is een open multimodale native AI-model dat diverse informatie uit de echte wereld integreert voor een alomvattend begrip, en presteert beter dan modellen zoals Pixtral-12B en Llama3.2-11B. Het is een mixture-of-expert model met 3,9 miljard en 3,5 miljard geactiveerde parameters per visueel en teksttoken, respectievelijk, wat de taal- en multimodale capaciteiten verbetert. De gewichten en codebase van het model zijn open-source, wat gemakkelijke adoptie en aanpassing door ontwikkelaars en onderzoekers mogelijk maakt.

Reaksjoner

  • ARIA is een nieuw multimodaal native Mixture-of-Experts (MoE) model dat Pixtral-12B en Llama3.2-11B overtreft in prestaties en inferentiesnelheid door efficiënt gebruik te maken van actieve parameters. Ondanks dat het geheugenverbruik vergelijkbaar is met een 25B model, presteert ARIA als een 10B model en werkt het net zo snel als een 4B model, waardoor het geschikt is voor apparaten met voldoende geheugen, zoals een M2 Max. De experts van het model richten zich op syntaxis, met ruimte voor verbetering in de selectie van experts, en het is momenteel beschikbaar voor testen, hoewel sommige gebruikers platformproblemen hebben ondervonden.