تقدم المقالة تقنية "الإزالة" كوسيلة لإلغاء الرقابة عن نماذج لاما دون إعادة التدريب عن طريق إزالة آلية الرفض الخاصة بها.
التلاشي يحدد ويزيل "اتجاه الرفض" في تيار المتبقي للنموذج، مما يسمح له بالاستجابة لجميع المطالبات.
تم تطبيق التقنية على نموذج Daredevil-8B، مما أسفر عن NeuralDaredevil-8B، وهو نموذج لغة كبير غير خاضع للرقابة يتمتع بأداء ممتاز في فئة 8B، على الرغم من أنه تطلب تدريبًا إضافيًا لاستعادة الانخفاضات في الأداء.
يناقش النص تجربة المستخدم مع نموذج ذكاء اصطناعي جديد يقدم إجابات تخمينية بدلاً من الرفض الصريح، وهو ما يجده المستخدم منعشًا وممتعًا.
تدور المناقشة حول أخلاقيات وتدابير السلامة لنماذج الذكاء الاصطناعي، مع وجود حجج مؤيدة ومعارضة للرقابة، وإمكانية إساءة استخدام النماذج غير الخاضعة للرقابة في أنشطة ضارة.
يسلط النص الضوء على التحديات المتعلقة بموازنة سلامة الذكاء الاصطناعي مع حرية المعلومات، مشددًا على الحاجة إلى إرشادات أخلاقية والإمكانيات القانونية للمحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي.
تركز Meta على أبحاث الذكاء الاصطناعي لمعالجة الحسابات واسعة النطاق اللازمة لتدريب نماذج اللغة الكبيرة (LLMs)، مما يتطلب إعادة التفكير في البرمجيات والأجهزة والبنية التحتية للشبكات.
قاموا بتكييف الأجهزة الموجودة، بما في ذلك تعديل منصة Grand Teton باستخدام وحدات معالجة الرسومات NVIDIA H100، وقاموا بتحسين تخطيط مركز البيانات لزيادة قدرة الحوسبة مع الحفاظ على بيئة مبردة بالهواء.
بنت شركة ميتا مجموعتين من العناقيد تحتوي كل منهما على 24 ألف وحدة معالجة رسومية باستخدام أقمشة RoCE وInfiniBand لتدريب Llama 3، مع تحسين الاتصال الشبكي وتوزيع الأحمال لضمان الأداء العالي ونقل البيانات بكفاءة.
اضطرت شركة ميتا إلى تعديل تصاميمها الميكانيكية والحرارية للبقاء في بيئة مبردة بالهواء بسبب قيود الوقت، مما أدى إلى دورة تحقق لنشر واسع النطاق.
لا تزال هناك تساؤلات حول كيفية جمع ميتا وإعداد البيانات للتدريب، خاصة فيما يتعلق بالمعلومات الشخصية التي يمكن التعرف عليها (PII)، والتي تكون غير متاحة بشكل افتراضي وتتطلب وصولاً خاصًا.
يناقش النص المنافسة بين شركات التكنولوجيا مثل جوجل ومايكروسوفت وميتا في تطوير رقائقها الخاصة، مسلطًا الضوء على الأداء والكفاءة من حيث التكلفة لوحدات معالجة الرسومات من Nvidia مقابل وحدات معالجة التنسور من جوجل.
يدعي المُبلغ عن المخالفات، أندرو هاريس، أن مايكروسوفت تجاهلت التحذيرات بشأن خلل أمني خطير لتجنب فقدان الأعمال الحكومية، والذي استغله لاحقًا قراصنة روس في هجوم SolarWinds.
اكتشف هاريس، وهو خبير في الأمن السيبراني، ثغرة في برنامج مايكروسوفت القائم على السحابة يمكن أن تسمح بالوصول غير المكتشف إلى معلومات حساسة، لكن تحذيراته تم تجاهلها بسبب التداعيات المالية المحتملة.
على الرغم من جهود هاريس والانتهاكات اللاحقة، أكدت مايكروسوفت أنه لم يتم استغلال أي منتج أو خدمة، مما أدى إلى انتقادات للشركة بسبب تفضيلها للأرباح على حساب أمان العملاء.