On this page
เวิร์กช็อปการเขียนโค้ด 3 ชั่วโมงเกี่ยวกับการสร้างโมเดลภาษาขนาดใหญ่ (LLMs) จากศูนย์ โดย Sebastian Raschka, PhD.
เวิร์กช็อปนี้ประกอบด้วยหัวข้อต่างๆ เช่น การแนะนำ LLM, การทำความเข้าใจข้อมูลนำเข้า, สถาปัตยกรรมการเขียนโค้ด, การฝึกอบรมเบื้องต้น, การโหลดน้ำหนักที่ฝึกอบรมล่วงหน้า, การปรับแต่งคำสั่ง, และการประเมินประสิทธิภาพ
ผู้เข้าร่วมจะสามารถเข้าถึงทรัพยากรที่เกี่ยวข้อง เช่น หนังสือ "สร้าง LLM จากศูนย์" และที่เก็บ GitHub
Sebastian Raschka กำลังจัดเวิร์กช็อปการเขียนโค้ดเป็นเวลา 3 ชั่วโมงเกี่ยวกับการสร้างโมเดลภาษาขนาดใหญ่ (LLMs) ตั้งแต่เริ่มต้น ซึ่งได้รับความสนใจอย่างมากในชุมชนเทคโนโลยี
การประชุมเชิงปฏิบัติการนี้ถูกเปรียบเทียบกับซีรีส์ของ Andrej Karpathy โดยทั้งสองได้รับการยกย่องในด้านคุณค่าทางการศึกษา แม้ว่าจะครอบคลุมแง่มุมที่แตกต่างกันของ LLMs
การอภิปรายเน้นย้ำถึงความสำคัญของการเข ้าใจแนวคิดพื้นฐานในการเรียนรู้ของเครื่อง โดยมีผู้ใช้บางคนถกเถียงถึงความลึกซึ้งและวิธีการของการสอนแบบ 'จากศูนย์'
ไบรอัน เชสกี้ ผู้ร่วมก่อตั้ง Airbnb ท้าทายภูมิปัญญาการจัดการแบบดั้งเดิมในงาน YC โดยโต้แย้งว่าคำแนะนำแบบดั้งเดิมเช่น "จ้างคนดีและให้พื้นที่พวกเขา" เป็นอันตรายต่อ Airbnb
การศึกษาของ Chesky เกี่ยวกับวิธีการของ Steve Jobs นำไปสู่แนวทางใหม่ที่เรียกว่า "โหมดผู้ก่อตั้ง" ซึ่งเกี่ยวข้องกับการมีส่วนร่วมโดยตรงมากขึ้นและการมอบหมายงานน้อยลง ทำให้ประสิทธิภาพของ Airbnb ดีขึ้น
แนวคิดของ "โหมดผู้ก่อตั้ง" อาจปฏิวัติวิธีการขยายตัวของสตาร์ทอัพ เนื่องจากผู ้ก่อตั้งหลายคนในงานนี้ได้แบ่งปันประสบการณ์ที่คล้ายคลึงกันเกี่ยวกับคำแนะนำแบบดั้งเดิมที่ไม่เกิดผล
รีด แฮสติงส์ ผู้ร่วมก่อตั้งและซีอีโอของ Netflix ได้แนะนำรูปแบบการบริหารที่เน้นเสรีภาพและความรับผิดชอบของพนักงาน ซึ่งเป็นปัจจัยสำคัญที่ทำให้ Netflix มีนวัตกรรมและเติบโตอย่างต่อเนื่อง
นักวิจารณ์โต้แย้งว่าผู้จัดการซอฟต์แวร์มืออาชีพหลายคนมักหลีกเลี่ยงความเสี่ยง ส่งผลให้วัฒนธรรมองค์กรมีประสิทธิภาพน้อยลง ในขณะที่ Paul Graham สนับสนุนให้ผู้ก่อตั้งมีส่วนร่วมโดยตรงและมอบหมายงานโดยอาศัยความไว้วางใจ
การถกเถียงที่ดำเนินอยู่นี้ชี้ให้เห็นว่าสไตล์การบริหารที่แตกต่างกัน เช่น ของ Netflix และ Apple สามารถนำไปสู่ความสำเร็จได้ ขึ้นอยู่กับบริบทและการนำของบริษัทนั้น ๆ
ซูดานกำลังประสบกับภาวะอดอยากที่เลวร้ายที่สุดในโลกในรอบ 40 ปี โดยมีผู้คนนับล้านเสี่ยงต่อการเสียชีวิต ตามที่องค์การสหประชาชาติประกาศที่ค่ายผู้ลี้ภัยซัมซัมใกล้กับเอ ล-ฟาเชอร์
องค์กรแพทย์ไร้พรมแดนรายงานในเดือนเมษายนว่า มีเด็กเสียชีวิตทุกๆ สองชั่วโมงจากความอดอยากหรือโรคภัย และสถานการณ์ได้เลวร้ายลงอีก
วิกฤตที่ถูกทำให้รุนแรงขึ้นโดยสงครามในซูดาน กำลังส่งผลกระทบต่อสามทวีปและเน้นย้ำถึงการไม่ต้องรับผิดชอบและความไร้ระเบียบที่เพิ่มขึ้นทั่วโลก
อนาธิปไตยในซูดานได้ส่งผลให้เกิดภาวะขาดแคลนอาหารที่เลวร้ายที่สุดในรอบ 40 ปี โดยองค์การสหประชาชาติได้ประกาศภาวะขาดแคลนอาหารอย่างเต็มรูปแบบเนื่องจากการขาดรัฐบาลที่ทำงานได้
ความอดอยากกำลังส่งผลกระทบรุนแรงต่อค่ายผู้ลี้ภัยที่มีประชากรประมาณ 500,000 คน ในขณะที่สหประชาชาติขาดข้อมูลเกี่ย วกับภูมิภาคอื่น ๆ ของประเทศ
วิกฤตที่เลวร้ายลงจากสงครามกลางเมืองและสงครามตัวแทน ได้จุดประกายการอภิปรายเกี่ยวกับประสิทธิภาพของความช่วยเหลือระหว่างประเทศและบทบาทของการแทรกแซงจากภายนอก
ไลบรารีการจัดรูปแบบ {fmt}
เป็นที่รู้จักในเรื่องของขนาดไบนารีที่เล็ก มักจะสร้างโค้ดที่มีขนาดเล็กกว่าทางเลือกอื่น ๆ เช่น IOStreams หรือ Boost Format
ผ่านการปรับแต่งต่างๆ รวมถึงกา รปิดการสนับสนุนท้องถิ่นและการจัดรูปแบบจุดลอยตัว ขนาดไบนารีของ {fmt}
ได้ถูกลดลงเหลือเพียง 14kB ทำให้ไม่จำเป็นต้องใช้รันไทม์ของ C++
การปรับแต่งเหล่านี้ทำให้ {fmt}
เหมาะสมอย่างยิ่งสำหรับอุปกรณ์ที่มีข้อจำกัดด้านหน่วยความจำและสภาพแวดล้อมการคอมพิวเตอร์แบบย้อนยุค
ไลบรารี {fmt}
ได้รับการปรับแต่งเพื่อให้ขนาดไบนารีลดลงเหลือ 14k และกำจัดการพึ่งพา runtime ของ C++
การปรับแต่งนี้มีความสำคัญสำหรับแอปพลิเคชันที่ขนาดไบนารีมีความสำคัญ เช่น ระบบฝังตัวและไมโครคอนโทรลเลอร์
การอภิปรายเน้นถึงความท้าทายและวิธีแก้ปัญหาในการลดขนาดโค้ด รวมถึงการใช้ขั้นตอนวิธีทางเลือกและผลกระทบของก ารจัดรูปแบบจุดลอยตัวต่อขนาดไบนารี
paraLLEl-GS เป็นอีมูเลเตอร์ใหม่ที่ใช้การคำนวณของ Vulkan สำหรับ PlayStation 2 Graphics Synthesizer (GS) โดยได้รับแรงบันดาลใจจากความสำเร็จของ paraLLEl-RDP สำหรับ N64
ต่างจากความพยายามก่อนหน้านี้ paraLLEl-GS มุ่งเน้นที่ประสิทธิภาพสูงและการหลีกเลี่ยงปัญหากราฟิกที่ชัดเจน แม้ว่าจะไม่มุ่งเน้นที่ความแม่นยำระดับบิตก็ตาม
โครงการนี้มุ่งเน ้นที่การแก้ไขปัญหาเฉพาะของการจำลอง PS2 GS เช่น อัตราการเติมสูง คุณสมบัติพิเศษของท่อส่งพิกเซล และการดำเนินการที่ซับซ้อนของการเท็กซ์เจอร์และเฟรมบัฟเฟอร์
การจำลอง PlayStation 2 GS (Graphics Synthesizer) เป็นเรื่องท้าทายเนื่องจากมีแบนด์วิดท์สูงและคุณสมบัติที่ซับซ้อน เช่น การผสมผสานที่สามารถโปรแกรมได้และการเชดเดอร์พื้นผิว
ความพยายามในการจำลองได้พัฒนาจากการใช้ฮาร์ดแวร์ PS2 ฝังใน PS3 ไปสู่โซลูชันที่ใช้ซอฟต์แวร์ ซึ่งเน้นถึงความยากลำบากทางเทคนิคที่เกี่ยวข้อง
การอภิปรายรวมถึงบริบททางประวัติศาสตร์เกี่ยวกับการพัฒนาเกมและวิวัฒนาการของเทคโนโลยี GPU โดยระบุว่า Nvidia ได้บัญญัติคำว่า "GPU" ในปี 1997
WatchYourLAN เป็นโปรแกรมสแกน IP เครือข่ายที่มีน้ำหนักเบาพร้อม GUI บนเว็บ โดยมีฟีเจอร์เช่น การแจ้งเตือนสำหรับโฮสต์ใหม่และการติดตามประวัติการออนไลน์/ออฟไลน์ของโฮสต์
สามารถรักษารายการของโฮสต์เครือข่ายทั้งหมดและส่งข้อมูลไปยัง InfluxDB2 สำหรับแดชบอร์ด Grafana ได้
โปรดทราบว่าเวอร์ชัน 2.0 ไม่เข้ากันกับ v1.0 และภาพ docker ของ v2.0 ขณะนี้อยู่ภายใต้แท็ก v2 แต่จะถูกแท็กเป็นล่าสุดในเร็วๆ นี้