"בניית מודל שפה גדול (מאפס)" הוא ספר המספק מדריך שלב אחר שלב ליצירת מודל שפה משלך.
הספר כולל הסברים ברורים, דיאגרמות ודוגמאות כדי לעזור לקוראים להבין כל שלב בתהליך.
הוא נוקט בגישה דומה לבניית מודלים כמו ChatGPT.
ניתן לגשת לקוד הנלווה ולחומרים המשלימים במאגר GitHub.
הנושאים המכוסים בספר כוללים הבנת מודלי שפה גדולים, עבודה עם נתוני טקסט, קידוד מנגנוני קשב, יישום מודל GPT, אימון מקדים על נתונים ללא תווית, כוונון עדין לסיווג טקסט, כוונון עדין עם משוב אנושי, שימוש במודלי שפה גדולים בפועל, ומבוא ל- PyTorch.
המחבר כותב מדריך מקיף וספר על בניית מודל שפה דמוי ChatGPT (LLM) מאפס, במטרה לחנך ולהסיר את המסתורין LLMs תוך מתן סיוע מעשי ליישם מודלים מותאמים אישית.
בעוד אימון LLM מאפס לא יכול להיות אפשרי כלכלית עבור רוב, המחבר ממליץ להשתמש במסגרות כמו שנאים HF או axolotl. עם זאת, חברה ממומנת היטב הוכיחה כי אימון מאפס אפשרי.
הספר עוסק באימון מקדים, כוונון עדין והעמסת משקולות מאומנות מראש, והקוראים מעוניינים בעצות ללימוד חיזוק. הדיון כולל גם המלצות למשאבי RL, רשתות עצביות ושנאים (transformers).
המחבר מגן על עלות הספר, מזכיר קופונים זמינים, ומברך על משוב באמצעות פורום מאנינג או GitHub.
הספר צפוי להיות באורך של 400-500 עמודים, ויש סרטון הדרכה להקדמה קצרה יותר. ההתאמה של מדריך הווידאו למתחילים הוא שנוי במחלוקת, אבל היוצר מבטיח כי פרקים נוספים נמצאים בתהליך.
משתמשים בפלטפורמת Law Stack Exchange דנים בשאלה האם רכישת אופציות פוט של בואינג במהלך התרסקות מטוס תיחשב למסחר במידע פנים.
השיחה בוחנת את ההגדרה של מסחר במידע פנים ואת המעורבות הפוטנציאלית של ה-SEC.
בסופו של דבר, המסקנה היא כי הימצאות בתוך מטוס שהתרסק אינה נחשבת למידע פנים, ולכן חוקי סחר במידע פנים לא יחולו. הפנייה לייעוץ משפטי וההיבט החינוכי של הפלטפורמה מודגשים.
תיבות סימון במערכות הפעלה שונות היו באופן מסורתי מרובעות, בעוד כפתורי האפשרויות היו עגולים.
עם האינטרנט ו- CSS, הייתה מגמה של המצאה ועיצוב מחדש של פקדים אלה, מה שהוביל לשימוש בתיבות סימון עגולות ותיבות סימון עם סימני ביקורת.
אפל הציגה לאחרונה תיבות סימון עגולות במערכת ההפעלה החדשה שלה, החורגות מהמוסכמה המרובעת המסורתית. המחבר משער כי תיבות סימון מרובעות עשויות להיות מוחלפות על ידי מתגים בשנת 2024.
Sxmo היא סביבה מינימליסטית למכשירי Linux ניידים עם ממשק מונחה תפריטים ידידותי למשתמש ותמיכה בפקדי מגע ומחוות.
משתמשים יכולים להיכנס לטלפון שלהם ולהשתמש בו כמו כל מכונת לינוקס אלפיני אחרת, מה שהופך אותו לנוח לשימוש מרחוק.
הפלטפורמה ניתנת להתאמה אישית וסקריפט ב רמה גבוהה, ומאפשרת למשתמשים להפעיל סקריפטים לפעולות שונות ולקשור אותם למחוות או לכפתורים פיזיים. הוא פועל על הפצות לינוקס מסורתיות ותומך ביישומי FOSS.
מערכת ההפעלה SXMO נדונה, תוך התמקדות בעיצוב, פונקציונליות ותאימות שלה עם PinePhone.
משתמשים שיתפו את חוויותיהם ודעותיהם, והביעו דעות חיוביות ושליליות על SXMO.
הדיונים מכסים נושאים כגון פגמים בעיצוב, באגים, תכונות, אפשרויות התאמה אישית, ROMs חלופיים, דרכים לעקיפת אפליקציות בנקאיות, השימושיות של מנהל חלונות אריחים בטלפון, אירועים קרובים, פיתוח Python ו- Qt, והיעדר אפשרות PIN/סיסמה לביטול נעילת המכשיר.
האקרים חדרו לרשת של מיקרוסופט וניגשו לחשבונות הדוא"ל של מנהלים בכירים על ידי ניצול חשבון בדיקה ישן עם הרשאות ניהול.
התוקפים השתמשו בטכניקה שנקראת ריסוס סיסמאות כדי לנצל אישור חלש לכניסה לחשבון הבדיקה.
הם גם תמרנו את פרוטוקול ההרשאות OAuth כדי ליצור אפליקציה זדונית ולהעניק לה גישה לכל כתובות הדוא"ל בשירות הדואר האלקטרוני Office 365 של מיקרוסופט, וחשפו טעות תצורה משמעותית.
השיחה מדגישה את היתרונות של עבודה מרחוק, כגון חיסכון בזמן וגמישות, אך גם מכירה באתגרים שלה, כולל בידוד והזדמנויות צמיחה מוגבלות.
נדונה ההשפעה של עבודה מרחוק על אינטראקציות חברתיות, יחסים עם עמיתים ותרבות החברה, ומעלה שאלות לגבי ההשפעות ארוכות הטווח על מחזור 2020-2022 ועל עתיד הנדל"ן המסחרי.
השיחה בוחנת הן את היתרונות והן את החסרונות של עבודה מרחוק לעסקים ונוגעת בחששות לגבי הטיה בדיונים בתקשורת וההשפעה של עבודה מרחוק על הפרודוקטיביות וביצועי העובדים. הדעות על האפקטיביות והעתיד של עבודה מרחוק משתנות.
חוקרים מ-MIT פיתחו הדפסת מתכת נוזלית (LMP), טכניקה המאפשרת ייצור מהיר של חלקי אלומיניום בקנה מידה גדול, כולל רהיטים.
LMP כרוך בהפקדת אלומיניום מותך על מצע של חרוזי זכוכית קטנים, וכתוצאה מכך התקשות מהירה למבנה תלת ממדי. זה לפחות פי 10 מהר יותר מאשר תהליכי ייצור תוספי מתכת אחרים.
LMP מתעדף מהירות וקנה מידה על פני רזולוציה. לטכניקה יש יישומים פוטנציאליים בארכיטקטורה, בנייה, עיצוב תעשייתי, אב טיפוס מהיר עם מתכת ממוחזרת, וניתן לשלב אותה עם תהליכים וחומרים אחרים ברזולוציה גבוהה כדי ליצור ריהוט פונקציונלי.
החוקר הראשי לשעבר בפנטגון, שון קירקפטריק, מאשים את תומכי תיאוריות הקונספירציה בממשל האמריקני בהפצת מיתוסים על עב"מים ובבזבוז משאבים על חקירות.
קירקפטריק טוען כי קבוצה של עובדי ממשלה מקדמים סיפורים לא מבוססים ומשפיעים על מחוקקים לתמוך בתוכניות מחקר סודיות של עב"מים.
הוא מביע דאגה מכך שהמחוקקים מקבלים החלטות המבוססות על חשיבה המונעת על ידי קונספירציות וסנסציות, ומציין כי לתצפיות רבות בעב"מים יש הסברים הגיוניים, אך יש אנשים המסרבים לקבל הסברים מדעיים בשל אמונתם בחייזרים.
הסיכום מכסה מגוון נושאים, כולל עב"מים, מפגשים עם חייזרים, תיאוריות קונספירציה ומעורבות ממשלתית.
הוא מזכיר את ההשפעה של תיאוריות קונספירציה בתוך הממשלה על הוצאות הקשורות לחקירות עב"מים.
הדיונים בוחנים את הטבע בקנה מידה אנושי של מיתולוגיה של עב"מים, את ההשראה הפוטנציאלית לתצפיות ממטוסים ניסיוניים, ואת האפשרות של הומינידים מתקדמים על כדור הארץ המעמידים פנים שהם יצורים מחוץ לכדור הארץ.
כמו כן נדונה ההיתכנות של שיגור גשושיות רובוטיות לחקר החלל.
ספקנות וויכוח אופפים את קיומם של חייזרים, את אמינותם של עדים ואת היעדר ראיות קונקרטיות.
כמו כן נבחנים סודיות ממשלתית, שקיפות ותפקידם של ארגונים כמו AATIP בעיצוב הנרטיב על עב"מים וקיום מחוץ לכדור הארץ.
המאמר דן באתגרים ובהזדמנויות של הוספת מטמון למערכת, תוך בחינת סוגים שונים של מאגרי זיכרון.
הוא בוחן את הפוטנציאל של יצירת מערכת מחשב המחקה תצוגה של 80 עמודות על-ידי שימוש בתצורות זיכרון גבוהות יותר.
היתרונות של שימוש במיקרו-מעבדים של 8 סיביות למשימות בזמן אמת ו הפוטנציאל לאופטימיזציה של פעולות המחשב נדונים, יחד עם טכניקות להפחתת צריכת החשמל. המאמר נוגע גם בנוסטלגיה למחשבים ישנים ובהתרגשות של מעבדים מהירים יותר. בנוסף, מוזכרות טכניקות לשיפור ביצועים עבור מערכות ספציפיות, כמו Applesoft והדגמת Quad Core.