Hop til hovedindhold

2024-10-11

2 $H100'ere: Hvordan GPU-udlejningsboblen brast

  • GPU-markedet har oplevet et betydeligt prisfald, hvor H100 GPU'er er faldet fra $8/timen til under $2/timen på grund af overskud og ændrede efterspørgselsdynamikker. Faktorer, der bidrager til dette skift, inkluderer videresalg af reserveret beregning, åben model finjustering og en reduktion i nye grundmodelvirksomheder, hvilket gør leje af GPU'er mere fordelagtigt end køb. Fremkomsten af åbne vægtmodeller og mere overkommelige alternativer, såsom AMD og Intel GPU'er, påvirker markedet, med en voksende vægt på AI-inferens og finjustering, understøttet af platforme som Featherless.AI, der tilbyder omkostningseffektive AI-løsninger.

Reaktioner

  • Markedet for GPU-udlejning har oplevet et dramatisk prisfald for H100 GPU'er, fra $8/timen til $2/timen, på grund af et overskud og faldende efterspørgsel fra nye grundmodelvirksomheder.
  • Dette prisfald har sprængt GPU-leje-boblen, hvilket har påvirket investorer, der har investeret tungt i GPU-infrastruktur.
  • Artiklen undersøger potentialet for et mere tilgængeligt AI-landskab med billigere beregningsmuligheder, selvom den langsigtede bæredygtighed af disse lave priser og fremtiden for AI-infrastruktur er usikker.

Tesla Robotaxi

Reaktioner

  • Tesla fremviste for nylig sin Robotaxi og understregede en vision for autonome taxaer, der står i kontrast til Waymos tilgang, som bruger dyrt udstyr som LiDAR. Robotaxiens design, der mangler et rat, indikerer en fremtid afhængig af fuld autonomi, selvom det står over for reguleringsmæssige og teknologiske udfordringer. Teslas Full Self-Driving (FSD) teknologi er et debatemne, hvor kritikere stiller spørgsmålstegn ved dens parathed til usuperviseret kørsel, mens tilhængere er optimistiske omkring dens potentiale.

Begynd at deaktivere installerede udvidelser, der stadig bruger Manifest V2 i Chrome stable

  • Google udfaser Manifest V2 for Chrome-udvidelser, med advarsler og deaktivering af disse udvidelser, der starter på præ-stabile kanaler fra den 9. oktober 2024.
  • Brugere opfordres til at skifte til Manifest V3-alternativer, hvor virksomheder har indtil juni 2025 til at fuldføre overgangen ved hjælp af ExtensionManifestV2Availability-politikken.
  • Udfasningsprocessen begyndte den 3. juni 2024, og Chrome Web Store har ikke accepteret nye Manifest V2-udvidelser siden juni 2022 for private og januar 2022 for offentlige eller ulistede udvidelser.

Reaktioner

  • Chrome overgår fra Manifest V2 til Manifest V3 udvidelser, hvilket påvirker adblockere som uBlock Origin ved at begrænse deres kapaciteter. Mens Chrome foretager dette skift, har browsere som Firefox, Vivaldi og Brave til hensigt at fortsætte med at understøtte Manifest V2 i øjeblikket. Denne ændring har foranlediget diskussioner om brugerkontrol og privatliv, hvor nogle brugere overvejer at skifte til alternative browsere for at bevare effektive adblokeringsegenskaber.

En Lisp-kompilator til RISC-V skrevet i Lisp

  • uLisp er en version af programmeringssproget Lisp designet til mikrokontrollere, der understøtter platforme som Arduino, Raspberry Pi og ESP32. Det inkluderer funktioner som fejlfinding, SD-kort interface og I2C/SPI serielle interfaces, med eksempler på applikationer som LED-blinkning og datalogning. En væsentlig funktion er Lisp-kompilatoren til RISC-V, som kompilerer Lisp-funktioner til maskinkode, der understøtter rekursive funktioner og tail-call optimering for forbedret ydeevne.

Reaktioner

  • En Lisp-kompilator til RISC-V, skrevet i Lisp, er under udvikling, men mangler visse operationer og funktioner for at kunne kompilere sig selv. Kompilatoren understøtter grundlæggende Lisp-funktioner som car og cdr, men er endnu ikke komplet. uLisp fremhæves for sin enkelhed og egnethed til mikrokontrollere, hvor RISC-V er en attraktiv platform for teknologientusiaster og hackere.

Freds-Nobelprisen for 2024 tildelt Nihon Hidankyo

  • Fredsprisen for 2024 er blevet tildelt Nihon Hidankyo, en japansk organisation af atomoverlevere, kendt som Hibakusha, for deres fortalervirksomhed for en atomvåbenfri verden. Hibakusha har væsentligt bidraget til at etablere det "nukleare tabu," en global norm mod brugen af atomvåben, gennem deres stærke vidnesbyrd. Denne anerkendelse er i tråd med Alfred Nobels vision om at hædre indsats, der gavner menneskeheden, og fortsætter med at inspirere nye generationer mod atomafrustning.

Reaktioner

  • Fredsprisen i 2024 blev tildelt Nihon Hidankyo, en japansk organisation, der arbejder imod atomvåben, hvilket understreger den vedvarende trussel fra atomvåben midt i globale spændinger. Denne pris fungerer som en påmindelse om de ødelæggende konsekvenser af atomkrigsførelse, som eksemplificeret ved Hiroshima og Nagasaki, og understreger vigtigheden af nedrustning. Prisdiskussionen involverer også kompleksiteten af atomafskrækkelse, international lovgivning og de geopolitiske dynamikker blandt atommagter.

WordPress-alternativer

  • Artiklen er blevet opdateret for at inkludere flere alternativer til Content Management Systemer (CMS) på grund af øget interesse, især i lyset af den nuværende WordPress-situation. Listen indeholder downloadbare CMS-muligheder som Ghost, Kirby, Indiekit, Craft CMS, ClassicPress, Statamic, Wagtail og Textpattern, og udelukker API- og git-baserede CMS'er. Bemærkelsesværdige nævnelser inkluderer Ghost for dets indbyggede e-mail-funktioner, Kirby for dets filbaserede tilgang, og ClassicPress som en community-ledet WordPress-fork, mens nogle CMS'er som Anchor ikke længere vedligeholdes.

Reaktioner

  • Jekyll på GitHub Pages anbefales til simple blogs, der bruger Markdown, da det tilbyder nem brug uden behov for lokal opsætning og muliggør indholdsportabilitet på tværs af platforme.
  • Alternativer til WordPress til blogging inkluderer Chyrp Lite, Typecho, Quartz og Logseq, mens Drupal, ProcessWire og Wagtail giver mere fleksibilitet for udviklere.
  • Statiske sitegeneratorer som Astro og Publii bliver stadig mere populære, og til billedhosting foreslås muligheder som S3+Cloudfront eller CloudFlare.

Google Play fjernede mit spil og vil ikke fortælle mig hvorfor

  • Tukkun, en indie-spiludvikler, har arbejdet på "Anti-Idle: Reborn," som blev godkendt af Google og Apple, og har været i lukket beta i en måned. Den 7. oktober 2024 opsagde Google Tukkuns konto med henvisning til "tidligere overtrædelser" og "højrisikoadfærd," men gav ikke en klar forklaring, hvilket påvirkede hans arbejde og indkomst. Denne situation fremhæver et bredere problem, hvor udviklere oplever vage kontolukninger, hvilket har ført til opfordringer om mere gennemsigtighed og klarhed fra platforme som Google.

Reaktioner

  • Google Play fjernede en udviklers spil uden forklaring, hvilket understreger den betydelige kontrol, teknologivirksomheder har over udviklere.
  • Der er rapporteret om lignende hændelser med Amazon og Google, hvor konti eller apps bliver forbudt uden klare grunde eller tilstrækkelig support.
  • Udviklere opfordres til at diversificere deres platforme for at mindske risici, da denne situation fremhæver bredere bekymringer om teknologigiganternes kundeservice og afhængighedsrisiciene ved at bygge virksomheder på deres platforme.

Nurdle Patrol

Reaktioner

  • I 2023 gik 221 skibscontainere tabt til havs, et mindre antal sammenlignet med de 250 millioner, der sendes årligt, hvilket fremhæver omfanget af de globale skibsoperationer.
  • Plastikpiller, kendt som nurdles, er synlige forurenende stoffer på strande og kan nedbrydes til mikroplastik, der trænger ind i fødekæden og udgør en potentiel fare, selvom de ikke er den primære kilde til marin plastikforurening.
  • Diskussionen om plastikforurening understreger dens kompleksitet og globale indvirkning, herunder eksporten af affaldsproblemer fra udviklede til udviklingslande og den potentielle tilpasning af økosystemer til plastikforurening, hvilket vækker bekymring om fremtidig brug af plastik.

Indledende CUDA-ydeevnelektioner

  • Malte Skarupke diskuterer sin oplevelse med at lære CUDA og bemærker, at det i bund og grund er C++ med ekstra funktioner til parallel computing.
  • Vigtige lærdomme for at optimere CUDA-ydeevne inkluderer hukommelsessammenlægning, forståelse af forskellige hukommelsestyper og maksimering af parallelisme ved at bruge mange tråde og opdele opgaver i forskellige kerner.
  • Skauprke understreger, at det at skrive CUDA er som at løse et puslespil, hvor det primære fokus bør være på at køre opgaver parallelt, før man optimerer for hastighed.

Reaktioner

  • Diskussionen fokuserer på at optimere CUDA-kode for GPU-ydeevne, specifikt for en LHC (Large Hadron Collider) eksperimentudløser, ved at håndtere registre, delt hukommelse og trådblokke.
  • Det understreger afvejningerne mellem belægning (antallet af aktive tråde), registerbrug og hukommelseslatens, hvilket fremhæver udviklingen af programmeringsbegrænsninger i CUDA.
  • Diskussionen sammenligner GPU- og CPU-ydeevne, bemærker forskelle i strømforbrug og beregningskapaciteter, og understreger vigtigheden af at balancere belægning og ydeevne for fremtidige hardware- og softwarefremskridt.

FBI oprettede en mønt for at undersøge kryptovaluta pump-and-dump ordninger

  • FBI udviklede en Ethereum-baseret kryptovaluta, NexFundAI, for at undersøge og afsløre kryptopump-og-dump-ordninger, hvilket førte til betydelige retssager. Der blev rejst anklager mod 18 personer og enheder for bedrageri og markedsmanipulation, hvor Securities and Exchange Commission rettede sig mod tre market makers og ni andre for at oppuste kryptovalutaers priser. Justitsministeriet lykkedes med at inddrive 25 millioner dollars i svigagtige udbytter, som vil blive returneret til investorerne, hvilket fremhæver operationens effektivitet i bekæmpelsen af kryptosvindel.

Reaktioner

  • FBI udviklede en kryptovaluta for at undersøge pump-and-dump-ordninger, som er svigagtige praksisser, der kunstigt oppuster prisen på en aktiv før det sælges.
  • Dette initiativ har antændt debatter om fælde og de etiske implikationer af, at retshåndhævelse skaber falske værdipapirer.
  • Diskussionen udvides til bredere bekymringer om legitimiteten af kryptovalutaer og regeringens rolle i reguleringen af digitale valutaer.

NotesHub: platformuafhængig, Markdown-baseret notatapp

  • Appen er tilgængelig på flere platforme, herunder iOS, Android, Windows, Mac, Apple Vision Pro og Web, hvor Web-versionen er en gratis Progressiv Web App, der fungerer offline. - Noter kan gemmes i Git-repositorier, med den bedste integration med GitHub, og understøtter også selvhostede muligheder som Gitea, filsystemer eller iCloud Drive. - Appen understøtter rig Markdown-syntaks med udvidelser til at skabe Kanban-tavler, Excalidraw-baserede whiteboards, og inkluderer funktioner som Mermaid og ABC-musiknotation.

Reaktioner

  • NotesHub er en alsidig, Markdown-baseret note-app tilgængelig på flere platforme, herunder iOS, Android, Windows, Mac, Apple Vision Pro og Web. Appen tilbyder en gratis Progressive Web App-version, mens de native versioner kræver en engangsbetaling, med stærk integration til at gemme noter i Git-repositorier som GitHub, GitLab eller Bitbucket. Den har avanceret Markdown-syntaks, Kanban-tavler og Excalidraw-baserede whiteboards, med brugere der roser dens rene design og offline-funktioner, selvom den ikke er open-source og har begrænset Linux-support.

Dead man's switch uden afhængighed af din infrastruktur

  • Et nyt Go-projekt, Deadcheck, er blevet udviklet til at fungere som en død mands switch uden at være afhængig af cron-jobs, timere eller databaser. Deadcheck integrerer med PagerDuty, en populær platform til hændelseshåndtering, for at holde hændelser i dvale, indtil en check-in bliver overset, hvorefter det udløser en alarm. Dette projekt er bemærkelsesværdigt for sin innovative tilgang til at håndtere alarmer og hændelser uden traditionelle planlægnings- eller databaseafhængigheder.

Reaktioner

  • Deadcheck er et Go-projekt designet som en dødmandskontakt, der eliminerer behovet for cron-jobs eller databaser og integrerer med PagerDuty for at håndtere alarmer.
  • Projektet har sat gang i diskussioner om dødmandskontakter, herunder juridiske aspekter og alternative løsninger som brug af advokater eller blockchain-systemer.
  • Brugere har foreslået eksisterende tjenester som Cronitor eller OpsGenie for lignende funktionaliteter, og projektet planlægger at udvide integrationer ud over PagerDuty.

At forstå begrænsningerne ved matematisk ræsonnering i store sprogmodeller

  • Papiret "GSM-Symbolic" af Iman Mirzadeh et al. undersøger de matematiske ræsonneringsevner hos store sprogmodeller (LLMs) ved hjælp af GSM8K-benchmarken. Forfatterne introducerer GSM-Symbolic, en ny benchmark med symbolske skabeloner, der viser, at LLMs har svært ved variationer i numeriske værdier og yderligere klausuler i spørgsmål. Undersøgelsen antyder, at LLMs muligvis replikerer ræsonnering fra træningsdata i stedet for at udføre ægte logisk ræsonnering, hvilket fremhæver deres begrænsninger i matematisk ræsonnering.

Reaktioner

  • Store sprogmodeller (LLMs) står over for udfordringer inden for matematisk ræsonnering, især når problemer indeholder irrelevant information, hvilket påvirker deres præstation. Denne begrænsning understreger LLMs' afhængighed af mønstergenkendelse frem for logisk ræsonnering, hvilket gør dem mindre effektive i virkelige scenarier med overflødige detaljer. På trods af fremskridt har LLMs stadig svært ved at skelne vigtig information fra støj, en kritisk færdighed, der er nødvendig for praktiske anvendelser.

ARIA: En åben multimodal indfødt blanding-af-eksperter model

  • Aria er en åben multimodal indfødt AI-model, der integrerer forskelligartet information fra den virkelige verden for en omfattende forståelse, og overgår modeller som Pixtral-12B og Llama3.2-11B i ydeevne. Det er en mixture-of-expert model med 3,9 milliarder og 3,5 milliarder aktiverede parametre pr. visuelt og teksttoken, henholdsvis, hvilket forbedrer dens sprog- og multimodale kapaciteter. Modellens vægte og kodebase er open-source, hvilket letter nem adoption og tilpasning af udviklere og forskere.

Reaktioner

  • ARIA er en ny multimodal native Mixture-of-Experts (MoE) model, der overgår Pixtral-12B og Llama3.2-11B i ydeevne og inferenshastighed ved effektivt at udnytte aktive parametre. - På trods af at have en hukommelsesbrug, der ligner en 25B model, præsterer ARIA som en 10B model og opererer lige så hurtigt som en 4B model, hvilket gør den velegnet til enheder med tilstrækkelig hukommelse, såsom en M2 Max. - Modellens eksperter fokuserer på syntaks, med plads til forbedring i ekspertudvælgelse, og den er i øjeblikket tilgængelig til test, selvom nogle brugere har oplevet platformproblemer.