״המאמר מציג את "abliteration," טכניקה להסרת הצנזורה ממודלים של Llama ללא צורך באימון מחדש על ידי הסרת מנגנון הסירוב שלהם.״
אבליטרציה מזהה ומסירה את "כיוון הסירוב" בזרם השאריות של המודל, מה שמאפשר לו להגיב לכל הפקודות.
״הטכניקה יושמה על דגם Daredevil-8B, וכתוצאה מכך נוצר NeuralDaredevil-8B, מודל שפה גדול (LLM) ללא צנזורה עם ביצועים מעולים בקטגוריית 8B, אם כי נדרש אימון נוסף כדי לשחזר ירידות בביצועים.״
הטקסט דן בחוויית המשתמש עם מודל AI חדש שמספק תשובות ספקולטיביות במקום סירובים מוחלטים, מה שהמשתמש מוצא מרענן ומהנה.
הדיון מתמקד באתיקה ובאמצעי הבטיחות של מודלים של בינה מלאכותית, עם טיעונים בעד ונגד צנזורה, והאפשרות לשימוש לרעה במודלים לא מצונזרים לפעילויות מזיקות.
הטקסט מדגיש את האתגרים שבאיזון בין בטיחות בינה מלאכותית לחופש המידע, תוך הדגשת הצורך בהנחיות אתיות וההשלכות המשפטיות הפוטנציאליות של תוכן שנוצר על ידי בינה מלאכותית.
Meta מתמקדת במחקר בינה מלאכותית כדי להתמודד עם החישוב בקנה מידה גדול הנדרש לאימון מודלים גדולים של שפה (LLMs), מה שמחייב חשיבה מחדש על תוכנה, חומרה ותשתית רשת.
הם התאימו חומרה קיימת, כולל שינוי פלטפורמת גרנד טיטון עם מעבדי NVIDIA H100, ואופטימיזציה של פריסת מרכז הנת ונים שלהם כדי למקסם את יכולת החישוב תוך שמירה על סביבה מקוררת באוויר.
״מטא בנתה שני אשכולות GPU של 24k באמצעות RoCE ו-InfiniBand כדי לאמן את Llama 3, תוך אופטימיזציה של תקשורת הרשת ואיזון העומס כדי להבטיח ביצועים גבוהים והעברת נתונים יעילה.״
מטא נאלצה להתאים את העיצובים המכניים והתרמיים שלה כדי להישאר בסביבה מקוררת באוויר בשל מגבלות זמן, מה שהוביל למחזור אימות לפריסה בקנה מידה גדול.
נותרות שאלות לגבי האופן שבו מטא אוספת ומכינה נתונים לאימון, במיוחד בנוגע למידע אישי מזהה (PII), שאינו נגיש כברירת מחדל ודורש גישה מיוחדת.
״הטקסט דן בתחרות בין חברות טכנולוגיה כמו גוגל, מיקרוסופט ומטה בפיתוח שבבים משלהן, תוך הדגשת הביצועים והיעילות הכלכלית של ה-GPUs של Nvidia לעומת ה-TPUs של גוגל.״
מדליף, אנדרו האריס, טוען שמיקרוסופט התעלמה מאזהרות לגבי פגם אבטחה קריטי כדי להימנע מאובדן עסקים עם הממשלה, פגם שנוצל מאוחר יותר על ידי האקרים רוסים במתקפת SolarWinds.
״האריס, מומחה לאבטחת סייבר, גילה פגיעות בתוכנית מבוססת הענן של מיקרוסופט שיכולה לאפשר גישה בלתי מזוהה למידע רגיש, אך אזהרותיו נדחו בשל השלכות פיננסיות פוטנציאליות.״
על אף מאמציו של האריס והפרות שבאו בעקבותיהם, מיקרוסופט טענה כי לא נעשה ניצול של אף מוצר או שירות, מה שהוביל לביקורת על העדפת החברה את הרווחים על פני אבטחת הלקוחות.
אנדרו האריס, חושף שחיתויות ומומחה אבטחת סייבר לשעבר במיקרוסופט, חשף כי מיקרוסופט עיכבה את הטיפול בפגם חמור בשירותי הפדרציה של Active Directory (AD FS) כדי להבטיח עסקה ממשלתית רווחית, מה שהוביל למתקפת הסייבר של SolarWinds.
חקירת ProPublica מדגישה תרבות בתוך מיקרוסופט שמעדיפה את צמיחת העסק על פני דאגות אבטחה מיידיות, ומשקפת בעיות רחבות יותר בתעשיית הטכנולוגיה של איזון בין רווח לאבטחת הלקוחות.
הטקסט דן באתגרים העומדים בפני חושפי שחיתויות ואנשי מקצוע בתחום הסייבר בקידום פעולה מהירה בנושאי אבטחה בתוך תאגידים המונעים על ידי רווח, תוך הדגשת הצורך בשינוי תרבותי להעדפת האבטחה.
״מערכת ההפעלה ChromeOS תפותח בקרוב תוך שימוש בחלקים נרחבים ממערך האנדרואיד, תוך ניצול הארכיטקטורה של אנדרואיד להפחתת פיצול מערכות ההפעלה ולשיפור עקביות העדכונים.״
כרומבוקים בעלי מחזורי תמיכה ארוכים יותר בהשוואה למכשירי אנדרואיד, ו-ChromeOS מתמודד טוב יותר עם פיצול, למרות שאינו מתאים לסמארטפונים.
״האינטגרציה של ChromeOS ו-Android עשויה להוביל לפלטפורמה מאוחדת יותר, שיכולה לשפר את חוויית השולחן עבודה במכשירים ניידים ולפתור בעיות ביצועים נוכחיות.״
ג'רלד סוסמן מדגיש את התכנות כאמצעי לאחסון והבנת ידע בתחומים כמו מתמטיקה, פיזיקה וביולוגיה, תוך שהוא מדגיש את ערכו החינוכי העמוק.
״הטקסט מדגיש את החשיבות של שמירה על הכיף במדעי המחשב, כפי שהמליץ אלן ג'יי פרליס, ומזהיר מפני הפיכה לשומרי הסף של הידע המחשובי.״
הדיון כולל את המעבר מהוראת Lisp ל-Python באוניברסיטאות, תוך ציון ש-Python פופולרי מבחינה מסחרית, אך המטרה העיקרית של החינוך צריכה להיות פיתוח חשיבה מופשטת ולא להתמקד אך ורק בשפות רלוונטיות מסחרית.
סטארטאפ הודי הצליח להדפיס בתלת מימד מנוע רקטי תוך 72 שעות, מה שמפחית באופן משמעותי את זמן הייצור.
המכונה המשמשת להדפסה מייצרת באופן אוטומטי דוח המפרט כל סטייה, דבר שעשוי לבטל את הצורך בבדיקות לאחר הייצור, אם כי ישנם מומחים המערערים על טענה זו.
ההתפתחות מדגישה את סצנת הטכנולוגיה ההולכת וגדלה בהודו ואת הפוטנציאל של הדפסת תלת-ממד בייצור מורכב, למרות הוויכוחים המתמשכים על הבטחת איכות והצורך בבדיקות לאחר הייצור.
מאיץ ה-MI300X של AMD עולה בביצועיו על ה-H100 SXM של NVIDIA בעומסי עבודה אמיתיים של בינה מלאכותית, ומשיג תפוקה גבוהה ב-33% במקרה שימוש של צ'אט.
״למרות המערכת האקולוגית הבשלה של NVIDIA, ה-MI300X של AMD הוא מתחרה חזק, המציע ביצועים טובים יותר, יעילות עלות וזמינות עבור הסקת מסקנות בענן בקנה מידה גדול.״
תוצאות הבדיקות מראות שה-MI300X מצטיין במשימות הסקה הן במצב לא מקוון והן במצב מקוון, מה שהופך אותו לאידיאלי להרחבת יכולות ההסקה של AI עם תפוקה גבוהה יותר וזמני תגובה מהירים יותר.
מעבד ה-MI300X של AMD עולה בביצועיו על ה-H100 של Nvidia בהסקת מודלים לשוניים גדולים (LLM), לפי TensorWave, ספקית ענן המתמחה בעומסי עבודה של בינה מלאכותית.
התוקף של הדו"ח מוטל בספק בגלל שלשבב של AMD יש פי שניים טרנזיסטורים וזיכרון אך הוא מבצע רק ב-33% טוב יותר, וההתקנה של AMD זולה משמעותית.
הדיון מדגיש את הדומיננטיות של Nvidia בעומסי עבודה של בינה מלאכותית, את מעמדה בשוק ואת התחרות הפוטנציאלית מצד AMD, תוך הדגשת החשיבות של מיומנויות תכנון מיקרוארכיטקטורה ותוכנה בהנעת ביצועי החומרה.
בתאריך 25 במאי 2024, מטוס בואינג 737-8 MAX של חברת Southwest Airlines חווה תופעת גלגול הולנדי במהלך הטיסה, מה שהוביל לנזק מבני משמעותי, אם כי הצוות נחת בשלום באוקלנד, קליפורניה.
ה-FAA סיווג את האירוע כתאונה, והמטוס הועבר לאוורט, וושינגטון, לתיקונים נוספים לאחר תיקון זמני באוקלנד.
דיונים בין משתמשים מדגישים היבטים טכניים, חשש פוטנציאלי של נוסעים, והצעות לבואינג להוסיף מערכת שנייה עצמאית של מייצב ייעודי לשיפור הבטיחות.
התרחשות של תופעת 'גלגול הולנדי' במטוס בואינג 737-8 מקס של חברת סאות'ווסט איירליינס, תופעה הכוללת תנודות הנובעות מהצימוד בין מצבי דינמיקה של גלגול וסבסוב.
דאצ' רול אירועים יש להם תקדים היסטורי, עם מקרים בולטים הכוללים דגמי מטוסים שונים, כולל התרסקות קטלנית של בואינג 747SR של חברת התעופה היפנית בשנת 1985.
הדיון מדגיש חששות לגבי הסטנדרטים ההנדסיים של בואינג, השפעת החלטות הניהול ובטיחות התעופה המסחרית, למרות הבעיות האחרונות עם ה-737 מקס.
Meta פיתחה את קודק Meta Low Bitrate (MLow) כדי לשפר את איכות השמע עבור משתמשים עם חיבורים איטיים ומכשירים ברמה נמוכה יותר, ומציעה איכות כפולה מזו של קודק Opus תוך שימוש ב-10% פחות כוח חישובי.
מלאו הושק באינסטגרם ובשיחות מסנג'ר, עם פריסה בוואטסאפ, משפר את מעורבות המשתמשים ואיכות השמע, במיוחד בתנאי ביטרייט נמוך.
MLow, קודק CELP, תומך באודיו SuperWideBand ובתיקון שגיאות קדמי משופר, משפר את איכות האודיו אפילו במצבי אובדן מנות, ושואף לשפר את שחזור האודיו בעדכונים עתידיים.
Meta הציגה קודק אודיו חדש עם קצב סיביות נמוך, אשר עשוי שלא להיות אידיאלי לתקשורת בזמן אמת בשל שיעורי חבילות גבוהים ועומס יתר, אך יכול להיות מועיל במערכות מיתוג מעגלים או VoIP המשתמשות בדחיסת כותרות.
״הקודק נועד להפחית את צריכת רוחב הפס תוך שמירה או שיפור האמינות ואיכות השמע הנתפסת, מה שהופך אותו למתאים לפלטפורמות כמו פייסבוק, אינסטגרם ו-וואטסאפ.״
הביצועים של הקודק ביישומים בעולם האמיתי תלויים ביכולתו להתמודד עם שגיאות ביט וקיבולת ערוץ מופחתת, כאשר תיקון שגיאות קדימה (FEC) משחק תפקיד מכריע בשמירה על איכות השיחה.
ארם מנסה להסיר את קוואלקום משוק ה-Windows כדי להציג את עיצוב ה-Cortex שלה, מה שמוביל לסכסוך משפטי על זכויות רישוי לשבבי Arm מותאמים אישית.
רכילויות מצביעות על כך שנבידיה, מדיה-טק ו-AMD עשויות להיכנס לאקוסיסטם של Windows עם שבבי Arm, ייתכן עד CES 2025, כאשר מדיה-טק עשויה להשתמש בליבות Cortex של Arm.
ארם טוענת כי השימוש של קוואלקום בעיצובים של נוביה מפר את ההתחייבויות החוזיות, ומבקשת לעצור את המשלוחים ולהשמיד את שבבי סדרת Snapdragon X, אם כי סכסוכים כאלה מסתיימים בדרך כלל בהסדרים כספיים.
ארם דורשת את השמדת כל מחשבי הנייד Snapdragon X Elite בשל סכסוך רישוי עם קוואלקום על השימוש בליבות השרת של נוביה במערכת על שבב Snapdragon X Elite.
סוגיית הליבה היא האם רכישת נוביה על ידי קוואלקום הפכה את הרישיון הספציפי של נוביה עם ארם לבלתי תקף, רישיון שהיה במקור לשימוש בשרתים/מרכזי נתונים בלבד.
תוצאת הקרב המשפטי הזה עשויה להשפיע באופן משמעותי על עסקאות רישוי עתידיות ועל תעשיית הטכנולוגיה הרחבה יותר, עם השלכות פוטנציאליות על האופן שבו קניין רוחני (IP) מועבר ומשומש לאחר רכישה.
ארכיון אנה, לייברי ג'נסיס, וסאי-האב יצרו רשימת טורנטים מאוחדת לשימור כמות עצומה של ידע אנושי, בסך כולל של 521.1TB, כאשר 60% כבר הועתקו לפחות לארבעה מקומות.
משתמשים מעודדים לזרוע טורנטים, במיוחד כאלה עם מעט זורעים, כדי לסייע בהגעה לשימור מלא. תורמים גדולים (50TB או יותר) יכולים ליצור קשר עם הצוות לקבלת עדכונים על טורנטים שהופסקו.
הרשימה מחולקת לשלושה חלקים: מנוהלת על ידי הארכיון של אנה, מנוהלת על ידי אחרים כמו Library Genesis ו-Sci-Hub, וטורנטים שונים. חלק מהטורנטים עשויים להיות תחת אמברגו זמני.
ארכיון אנה, מראה של Library Genesis ו-Sci-Hub, מבקש עזרה בזריעת מעל 500 טרה-בייט של ספרים ומאמרים לשימור, כאשר 40% מהם נזרעים כרגע על ידי פחות מ-4 צמתים.
הפרויקט מתמודד עם אתגרים משמעותיים של הפרת זכויות יוצרים, בדומה לספריות מקוונות אחרות כמו LibGen, Sci-Hub ו-Z-Library, שהתמודדו עם פעולות משפטיות והחרמת דומיינים.
המעבר מ-IPFS ל-BitTorrent לשימור נובע מהקלות השימוש של BitTorrent והדרישות הנמוכות יותר לתשתית, כאשר הקהילה דנה בהשלכות האתיות והמשפטיות של זריעת טורנטים לשימור נתונים לטווח ארוך.
ליסה סו, לפני שהפכה למנכ"לית AMD, עבדה ב-IBM ותרמה לעיצוב מעבד ה-Cell של ה-PlayStation 3, שהיה מבוסס על PowerPC של IBM והתמקד בפרלליזציה.
על אף ש-PlayStation 3 הייתה אחת הקונסולות הפחות מוצלחות של סוני, היא מכרה 87.4 מיליון יחידות עד מרץ 2017 והובילה למשחקים מרהיבים מבחינה ויזואלית כמו Uncharted 3.
״תחת הנהגתה של ליסה סו, AMD סיפקה חומרה גם לפלייסטיישן וגם לאקסבוקס במשך שתי דורות קונסולות רצופים, מה שמסמן הישג משמעותי עבור החברה בתעשיית הגיימינג.״
מנכ"לית AMD ליסה סו שיתפה תובנות על תכנון מעבד ה-Cell של ה-PS3, והדגישה את הארכיטקטורה המתקדמת שלו ואת האתגרים בפיתוח משחקים.
המעבד Cell של ה-PS3 היה חזק אך קשה לתכנות, מה שהוביל להצלחה מעורבת ואימוץ מוגבל בשוק בהשוואה למעבדי X86_64 ו-ARM.
החומרה הייחודית של ה-PS3, כולל מעבד ה-Cell וה-GPU של Nvidia, הפכה אותה לקונסולה מורכבת אך חדשנית, והשפיעה על התפתחות קונסולות המשחקים וסביבות הפיתוח שלהן.