تقدم المقالة تقنية "الإزالة" كوسيلة لإلغاء الرقابة عن نماذج لاما دون إعادة التدريب عن طريق إزالة آلية الرفض الخاصة بها.
التلاشي يحدد ويزيل "اتجاه الرفض" في تيار المتبقي للنموذج، مما يسمح له بالاستجابة لجميع المطالبات.
تم تطبيق التقنية على نموذج Daredevil-8B، مما أسفر عن NeuralDaredevil-8B، وهو نموذج لغة كبير غير خاضع للرقابة يتمتع بأداء ممتاز في فئة 8B، على الرغم من أنه تطلب تدريبًا إضافيًا لاستعادة الانخفاضات في الأداء.
يناقش النص تجربة المستخدم مع نموذج ذكاء اصطناعي جديد يقدم إجابات تخمينية بدلاً من الرفض الصريح، وهو ما يجده المستخدم منعشًا وممتعًا.
تدور المناقشة حول أخلاقيات وتدابير السلامة لنماذج الذكاء الاصطناعي، مع وجود حجج مؤيدة ومعارضة للرقابة، وإمكانية إساءة استخدام النماذج غير الخاضعة للرقابة في أنشطة ضارة.
يسلط النص الضوء على التحديات المتعلقة بموازنة سلامة الذكاء الاصطناعي مع حرية المعلومات، مشددًا على الحاجة إلى إرشادات أخلاقية والإمكانيات القانونية للمحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي.
تركز Meta على أبحاث الذكاء الاصطناعي لمعالجة الحسابات واسعة النطاق اللازمة لتدريب نماذج اللغة الكبيرة (LLMs)، مما يتطلب إعادة التفكير في البرمجيات والأجهزة والبنية التحتية للشبكات.
قاموا بتكييف الأجهزة الموجودة، بما في ذلك تعديل منصة Grand Teton باستخدام وحدات معالجة الرسومات NVIDIA H100، وقاموا بتحسين تخطيط مركز البيانات لزيادة قدرة الحوسبة مع الحفاظ على بيئة مبردة بالهواء.
بنت شركة ميتا مجموعتين من العناقيد تحتوي كل منهما على 24 ألف وحدة معالجة رسومية باستخدام أقمشة RoCE وInfiniBand لتدريب Llama 3، مع تحسين الاتصال الشبكي وتوزيع الأحمال لضمان الأداء العالي ونقل البيانات بكفاءة.
اضطرت شركة ميتا إلى تعديل تصاميمها الميكانيكية والحرارية للبقاء في بيئة مبردة بالهواء بسبب قيود الوقت، مما أدى إلى دورة تحقق لنشر واسع النطاق.
لا تزال هناك تساؤلات حول كيفية جمع ميتا وإعداد البيانات للتدريب، خاصة فيما يتعلق بالمعلومات الشخصية التي يمكن التعرف عليها (PII)، والتي تكون غير متاحة بشكل افتراضي وتتطلب وصولاً خاصًا.
يناقش النص المنافسة بين شركات التكنولوجيا مثل جوجل ومايكروسوفت وميتا في تطوير رقائقها الخاصة، مسلطًا الضوء على الأداء والكفاءة من حيث التكلفة لوحدات معالجة الرسومات من Nvidia مقابل وحدات معالجة التنسور من جوجل.