StableLM je nový open-source jazykový model určený pro úlohy zpracování přirozeného jazyka.
Model je jedinečný v tom, že umožňuje uživatelům trénovat a dolaďovat jej na vlastních specifických sadách dat, čímž zvyšuje výkonnost při učení jazyka podle konkrétní úlohy.
Jeho architektura je založena na BERT a je navržena tak, aby minimalizovala katastrofické zapomínání.
Model je předem natrénován na velkém korpusu textů, včetně Wikipedie a Common Crawl.
Software se snadno používá a je přístupný na GitHubu, kde je k dispozici dokumentace, která uživatelům pomůže začít.
Model StableLM již byl použit v různých aplikacích, včetně klasifikace textu a analýzy sentimentu.
Společnost Stability.AI vydala nový open-source jazykový model StableLM s modely s parametry od 3B do 65B a šířkou kontextu 4096.
Hodnocení modelu se setkalo s kritikou, ale vzhledem k tomu, že se jedná o otevřený zdrojový kód, je to dobrá volba pro vývojáře, kteří chtějí model vylepšit.
Model StableLM alfa je testován a očekává se, že překoná model Pythia 6.9B a bude natrénován až na 1,5 bilionu tokenů.
Větší modely se učí rychleji, ale jsou náchylné k overfittingu a korporace nutí spotřebitele platit za výpočetní výkon předem.
Optimalizované ML frameworky jsou stále dostupnější na spotřebitelském hardwaru, ale dobré jazykové modely v současnosti vyžadují drahé GPU, kvůli kterým jsou cloudová API jedinou možností.
Poskytování jazykových modelů prostřednictvím rozhraní API umožňuje vysoce optimalizovanou inferenci, ale lokální výpočty umožňují větší soukromí v aplikacích umělé inteligence.
Výzkumníci ze Stanfordu uvolnili StableLM pod open-source licencí, což se setkalo s různými názory.
Vývoj a využití umělé inteligence jsou žhavá témata s různými názory na to, zda superinteligentní umělá inteligence ovládne svět.
Zprovoznění domácího serveru Linux v režimu spánku při nečinnosti a probuzení na požádání - jednoduchý způsob
Článek podrobně popisuje, jak nakonfigurovat domácí server se systémem Ubuntu Linux tak, aby se uspával v nečinnosti a probouzel na vyžádání pro hostování záloh Time Machine.
Povoleno probuzení v režimu spánku (Wake-on-LAN) pro probuzení serveru pomocí unicast paketů.
Síťové služby, včetně ARP Stand-in a Avahi, nakonfigurovány tak, aby udržovaly síťové připojení, zatímco server spí.
Sdílený kód pro určení stavu nečinnosti/pracovního stavu a automatické pozastavení do paměti RAM prostřednictvím úlohy cron.
Je zapotřebí samostatné vždy zapnuté zařízení Linux a zařízení síťového rozhraní, které podporuje funkci Wake-on-LAN s unicastovými pakety.
Funkce ARP Stand-in umožňuje síťovému zařízení odpovídat na požadavky ARP jménem spícího serveru a spouštět jeho probuzení.
Autor použil k implementaci funkce ARP Stand-in jazyk Ruby a knihovnu libpcap s filtrem pro pakety požadavků ARP zaměřené na IP adresu spícího serveru.
Řešeny problémy s nežádoucím probuzením způsobené pakety AFP a dotazy NetBIOS.
Článek vysvětluje, jak zakázat IPv6 a použít zrcadlení portů k zachycení paketů z prostřednického zařízení mezi serverem a zbytkem sítě.
Avahi použitá autorem jako náhradní služba za ARP.
Autor použil avahi-publish ke konfiguraci Raspberry Pi.
Autor vytvořil definici služby systemd, která automaticky spouští avahi-publish při startu systému.
Raspberry Pi je oblíbenou volbou pro servery s nízkou spotřebou energie, ale někteří uživatelé doporučují používat jej pro synchronizaci souborů na "skutečný" zálohovací server namísto nastavení na vyžádání.
Návrhy pro provoz serveru s nízkou spotřebou energie zahrnují použití wifi a konfiguraci ethernetu pro provoz s nízkou spotřebou energie.
Doporučují se alternativní minipočítače, například desky Beelink a Topton NAS.
Pro rychlejší řešení problémů se doporučuje ChatGPT.
Jsou diskutovány funkce pro úsporu energie a potíže spojené s definicí "nečinnosti".
Diskutuje se o nastaveních Wake on LAN a zálohování na vlastním serveru oproti cloudovým službám, stejně jako o obavách týkajících se soukromí a sledování.
Čtenáři se dělí o tipy, jak optimalizovat spotřebu energie, jako je odstřeďování pevných disků a používání úsporných napájecích zdrojů.
Diskutuje se o technologii IPv6 a jejích výhodách.
Jsou diskutovány strategie pro minimalizaci spotřeby energie domácími servery.
K probuzení spícího serveru lze použít podvržení protokolu ARP.
Příspěvek poskytuje rekonstrukce a schémata různých starověkých členovců včetně Euarthropoda, Dinocaridida, lobopoda a dalších.
Uživatel Junnn11 je nadšenec do členovců se zaměřením na problematiku hlavy panarthropodů, fylogenezi napříč subfyly členovců a kmenovou linií, bazální cheliceráty, dinokarididy a lobopody.
Příspěvek obsahuje seznam různých druhů fuxianhuiidů, megacheiranů, pycnogonidů, synziphosurinů, chasmataspidů, eurypteridů, pavoukovců a dalších.
Nechybí ani interpretační kresby různých starověkých členovců.
V příspěvku jsou uvedeny odkazy na stránku uživatele na japonské Wikipedii a na jeho účet na Twitteru.
V příspěvku není uvedeno žádné nové nebo nedávné vydání.
Příspěvek v Discussion Service představuje osoby hluboce zainteresované do výklenkových témat, včetně technologií, biologie a modelování.
Uživatelé diskutují o výhodách a nevýhodách investování do takových témat, včetně dopadu na motivaci a legitimizaci zájmů PhD.
Ilustrace uživatele Junnn11 zobrazující biomechaniku a pohyb členovců na stránce Wikipedie vyvolaly diskusi o biologii, genetice a konceptu vidění.
Uživatelé také diskutují o "problému hlavy členovce" a preferencích uživatelského designu, jako jsou líně načítané obrázky.
Lazy-loading tagů na webových stránkách ve výchozím nastavení je problémem ochrany osobních údajů a v současné době není implementován v prohlížečích Safari a Firefox a může narušit některé webové stránky.
Aplikace MediaWiki je platforma PHP pro vytváření uživatelského obsahu a pozornost si získaly ilustrace hmyzu na uživatelské stránce Junnn11.
Peter Van Hardenberg je zastáncem softwaru local-first, kdy programy běží na zařízeních a využívají cloud pro "trvanlivost nebo dostupnost", aniž by na něm byly závislé.
Tradiční software na podnikové úrovni a cloudové služby jsou jako stavba drahých letadlových lodí, když jsou potřeba jednoduché, osobní a snadno udržovatelné nástroje.
Online a offline by měly být vnímány jako kontinuum s různými úrovněmi latence.
Offline je pouze nejextrémnější formou latence a má své vlastní odstupňování v sekundách, minutách, hodinách, dnech a dalších.
Posunutí myšlenky binárních jednotek online/offline na spektrum latence otevírá nové možnosti pro vytváření různých věcí.
Článek pojednává o konceptu offline vs. online aplikací a debatě o tom, zda by měly být považovány za stejnou nebo odlišnou kategorii s vlastními požadavky.
Rozhovor se zabývá pesimistickým vs. optimistickým uživatelským rozhraním a lokalitou dat vs. vlastnictvím dat.
Řešení konfliktů je při práci s offline aplikacemi složitou otázkou a řešení by měla být navržena tak, aby zvládala jak online, tak offline prostředí.
Je navržen přechod na přístup k produktům založený na synchronizaci dat.
Offline-first zkušenosti musí být pečlivě navrženy tak, aby vše považovaly za zdroj pravdy a zvládly migraci schémat a obchodní logiky.
Aplikacím typu peer-to-peer dávají někteří uživatelé přednost před internetovými službami z důvodu ochrany soukromí a kontroly.
Volba přístupu (lokální vs. cloudový) závisí na potřebách a preferencích uživatele.
Diskuse se dotýká technických problémů, jako jsou NAT a systémy vyhledávání, a probírá možná řešení, včetně federativních standardů a sítí typu mesh.
Je zmíněn význam tolerance offline v aplikacích, jako jsou Google Maps, iMessage a aplikace pro předpověď počasí.
Diskuse se soustředí na to, zda je offline-first životaschopným řešením pro nástroje pro spolupráci.
Různí komentátoři diskutují o výhodách a nevýhodách offline vs. online komunikace a o důležitosti odolného designu.
Většina mých dovedností nyní nemá žádnou hodnotu, ale 10 % má hodnotu 1000x větší.