London Underground Dot Matrix Typeface je súbor písiem, ktoré kopírujú písmo používané na príchodových tabuliach a oznamovacích tabuliach dopravného systému londýnskeho metra.
Písmo obsahuje rôzne váhy a predstavuje písma používané v rôznych časových obdobiach v sieti metra.
Písmo je vytvorené na základe referenčných materiálov, ako sú fotografie a videá, a existuje možnosť, aby ľudia prispeli pridaním nových znakov do existujúcich písiem.
Článok sa zaoberá hľadaním významu a pôvodu záhadného symbolu s názvom U+237C ⍼ &Angzarr;
Autor požiadal knižnicu v Cambridge o skeny dokumentov týkajúcich sa tohto symbolu, ale bolo mu oznámené, že prekračuje autorský zákon a limity na skenovanie.
Čitatelia majú záujem pomôcť s financovaním žiadosti o digitalizáciu a nájsť spôsob, ako pokračovať vo výskume.
Bullshit jobs sú nezmyselné a zbytočné pracovné pozície, ktoré existujú vo verejnom aj súkromnom sektore, spôsobujú frustráciu zamestnancov a podkopávajú skutočný účel organizácií.
Mnohí zamestnanci sa cítia uväznení vo svojich nezmyselných pracovných pozíciách a snažia sa nájsť rovnováhu medzi potrebou zmysluplnej práce a požiadavkami ich BS pracovných miest, čo vedie k negatívnym dôsledkom na ich duševné zdravie a sebaúctu.
Koncepcia univerzálneho základného príjmu (Universal Basic Income - UBI) sa považuje za potenciálne riešenie, ktoré by mohlo vyriešiť problém nezmyselných pracovných miest a príjmovej nerovnosti a umožniť jednotlivcom, aby sa rozhodli, ako budú tráviť svoj čas a prispievať k rozvoju spoločnosti.
GB Studio je používateľsky prívetivý tvorca hier typu drag and drop, ktorý umožňuje vytvárať retro hry pre vreckový systém videohier GameBoy.
Je k dispozícii pre operačné systémy Windows, Mac a Linux a môžete si ho stiahnuť zo stránky Itch.io.
Softvér nevyžaduje žiadne znalosti programovania a podporuje viacero herných žánrov. Obsahuje aj zabudovaný hudobný editor a umožňuje vytvárať skutočné súbory ROM, ktoré možno prehrávať na akomkoľvek emulátore GameBoy.
Autor vyjadruje svoju frustráciu zo vzniku nových dopytovacích jazykov v tomto odvetví a tvrdí, že používanie jazyka SQL ako spoločného jazyka pre databázy na všeobecné účely je praktickejšie a efektívnejšie.
Autor porovnáva nový dopytovací jazyk s názvom FancyQL s jazykom SQL a zdôrazňuje, že jazyk SQL nie je taký zložitý, ako sa často prezentuje, a dokáže efektívne riešiť úlohy súvisiace s údajmi.
Autor zdôrazňuje výhody jazyka SQL, ako je jeho rozšírené používanie, podpora zo strany hlavných databázových strojov a neustále zlepšovanie prostredníctvom výboru pre štandardy. Tvrdí, že nie je potrebný žiaden vymyslený dotazovací jazyk, keď SQL je už schopný.
Dotazy v jazyku SQL môžu mať nevýhody, pokiaľ ide o dopytovanie sa do databáz s rôznymi typmi a mnoţstvom, čo vedie k redundantným výstupom a nedostatočnému spracovaniu chýb.
Podpora JSON v databázach umožňuje agregovať výsledky čiastkových výberov do jedného stĺpca, čo poskytuje väčšiu flexibilitu pri dopytovaní.
Alternatívne dotazovacie jazyky, ako napríklad EdgeQL a PRQL, sa snažia zlepšiť obmedzenia jazyka SQL, ale jazyk SQL zostáva cenným a široko používaným nástrojom v tomto odvetví.
V príspevku sa rozoberajú techniky na urýchlenie trénovania a odvodzovania veľkých jazykových modelov (Large Language Models - LLM), ktoré umožňujú používať kontextové okno s veľkosťou až 100 K vstupných tokenov, čo je podstatne viac ako pri predchádzajúcich modeloch.
Vysvetľujú sa obmedzenia pôvodnej architektúry Transformera pri práci s veľkými dĺžkami kontextu vrátane kvadratickej časovej a priestorovej zložitosti výpočtov vrstvy pozornosti.
Uvádza sa niekoľko optimalizačných techník vrátane pozičného vkladania ALiBi, Sparse Attention, FlashAttention, Multi-Query attention, Conditional computation a použitia 80GB GPU A100, ktoré pomáhajú zväčšiť dĺžku kontextu a zlepšiť efektivitu LLM.
Model 100k spoločnosti Anthropics využíva šikovné techniky na predĺženie kontextového okna, ale má niektoré nedokonalosti.
Umiestnenie inštrukcií za referenčný text na vstupe môže pomôcť modelu venovať im väčšiu pozornosť.
Nemožnosť ukladať transformátory do vyrovnávacej pamäte spôsobuje, že veľké kontextové okná sú nákladné, ale projekt RWKV-LM na GitHube ponúka potenciálne riešenie.
Claude Anthropics v niektorých prípadoch prekonáva GPT4 a celkovo sa radí medzi GPT4 a Bard.
Pozícia výzvy na vstupe môže ovplyvniť "pozornosť" modelu a skreslenie v súvislosti s recenziou.
Transformátory boli navrhnuté tak, aby sa vyhli problémom s pozíciou, ale niektoré prípady ukazujú, že skreslenie vzhľadom na reaktivitu môže byť stále prítomné.
LLM môžu mať problém prideliť rovnakú úroveň pozornosti všetkým častiam vstupu v celom kontextovom okne.
Antropika Claude sa považuje za podhodnotenú, ale prístup k nej je v súčasnosti sťažený.
Výpočtové požiadavky na veľké veľkosti kontextu môžu byť značné, ale môžu sa oplatiť pre špecifické aplikácie, ako je programovanie.
Trénovanie LLM s veľkými kontextovými oknami je náročné na zdroje, ale komprimácia a optimalizácia modelov môže zvýšiť efektivitu.
Veľké veľkosti kontextu sú potrebné na úlohy, ako je vybavovanie faktov a porozumenie dlhých príbehov.
Sú potrebné referenčné kritériá, ktoré sa zameriavajú na úlohy vyžadujúce veľké veľkosti kontextu.
Stratová kompresia môže viesť k lepšej kvalite v porovnaní s bezstratovou kompresiou, pokiaľ ide o LLM.
Metódy polohového kódovania, ako napríklad sínusoidálne vnorenie, nemusia byť vhodné pre veľké veľkosti kontextu.
Znalosť UI vo všeobecnosti je nevyhnutná, ale reprodukcia alebo samostatná úprava LLM si vyžaduje značné zdroje.
Prebieha výskum zameraný na zlepšenie škálovateľnosti LLM z hľadiska výpočtových a pamäťových požiadaviek.
Použitie naučených pozičných kódovaní umožňuje jemné ladenie na väčších veľkostiach kontextu.
V článku chýbajú podrobné vysvetlenia a uvádza sa nejasné tvrdenie o škálovaní kontextu v LLM.
Existuje záujem o skúmanie rôznych paradigiem a techník na riešenie výpočtovej zložitosti veľkých veľkostí kontextu.
Blog GoPenAI, na ktorom je článok umiestnený, nie je spojený s OpenAI napriek podobnosti v názve domény.