2024-04-09
Llm.c – ฝึกโมเดลภาษาขนาดใหญ่ใน Pure C/CUDA
- เอกสารให้รายละเอียดการใช้งาน C/CUDA ที่ตรงไปตรงมาสําหรับการฝึกโมเดลภาษาขนาดใหญ่ เช่น GPT-2 โดยไม่ต้องพึ่งพาเฟรมเวิร์กที่กว้างขวาง เช่น PyTorch
- ผู้เขียนมุ่งเน้นไปที่การเพิ่มความเร็วและประสิทธิภาพของการใช้งานโดยเสนอแนวทางสําหรับการได้มาซึ่งชุดข้อมูลการเริ่มต้นน้ําหนักและการฝึกอบรมแบบจําลองใน C ควบคู่ไปกับการทดสอบหน่วยและบทช่วยสอนเพื่อการรับประกันความแม่นยํา
- โครงการนี้เป็นโอเพ่นซอร์สภายใต้ใบอนุญาต MIT ซึ่งอํานวยความสะดวกในการเข้าถึงและการทํางานร่วมกันในชุมชนเทคโนโลยี