במאמר הזה
פעם בשבוע, קצר, בעברית: כלי שבדקתי, סוכן שבניתי, או טעות שעשיתי כדי שאתם לא תעשו אותה.
בקצרה: הריפו kimi-k3-in-c מריץ את Kimi K3, מודל פתוח של 2.78 טריליון פרמטרים, עם שיא זיכרון מדוד של 8.24GB ובלי כרטיס מסך. הוא מצליח כי לכל טוקן רק חלק קטן מהמודל עובד, ואת החלק הזה הוא קורא מהדיסק. המחיר הוא כחצי דקה לטוקן וכ-1.7TB דיסק פנוי. זו הוכחה הנדסית מרשימה, ולא הצ'אטבוט הבא שלכם.
שמרתי לעצמי ריל של Prince Gupta עם משפט שקשה לעבור לידו: מודל של 2.78 טריליון פרמטרים, 8 ג'יגה זיכרון, בלי GPU. כשאני רואה מספרים כאלה, אני הולך קודם לתיעוד.
חשוב לי להגיד את זה מראש: לא הרצתי את המנוע הזה בעצמי. כל המספרים כאן מגיעים מהתיעוד של הריפו, כפי שקראתי אותו ב-18.11.2026. ומה שמצאתי שם מעניין יותר מהכותרת.
איך מודל כל כך גדול נכנס ל-8GB זיכרון?
הסוד נמצא במבנה של המודל. Kimi K3 בנוי בשיטת Mixture of Experts: במקום רשת אחת שכולה עובדת כל הזמן, יש הרבה "מומחים" קטנים, ולכל טוקן נבחרים רק כמה מהם. טוקן הוא יחידת הטקסט שהמודל מייצר, בערך מילה או חלק ממילה.
ב-92 מתוך 93 השכבות של המודל יש 896 מומחים, ולכל טוקן מתעוררים 16. בסך הכול פעילים בכל רגע כ-104 מיליארד פרמטרים, שהם 3.7% מהמודל.
המנוע, kimi-k3-in-c, מנצל את זה עד הסוף. זה קובץ של 176KB שכתוב בעיקר בשפת C, והוא מושך מהדיסק רק את המומחים שנבחרו. גם החלק הקבוע של המודל, שתופס 109GB אחרי אריזה, לא יושב בזיכרון בבת אחת. הוא נטען שכבה אחרי שכבה.
תחשבו על ספרייה ענקית עם שולחן קטן. לא צריך את כל הספרים על השולחן, רק את אלה שפתוחים עכשיו. השאר מחכים על המדף.
רוצים לקבל כל שבוע את מה שבאמת חשוב ב-AI?
בניוזלטר "אלעד עמרני AI" אני מרכז את הכלים והמודלים ששווה להכיר, עם מה שעובד ומה פחות. להרשמה לניוזלטר
מה חשוב לדייק בסיפור הזה?
בסרטון קצר על פרויקט כזה אין מקום לכל הפרטים. אלה הדיוקים שמצאתי בתיעוד:
| מה שומעים | מה כתוב בתיעוד |
|---|---|
| רץ על מעבד אחד | המדידות נעשו על תחנת עבודה עם שני מעבדי AMD EPYC 7763 ו-124 ליבות |
| צריך בדרך כלל יותר מ-5 טרה זיכרון | 5.56TB הוא חישוב תיאורטי של כל הפרמטרים. הקובץ עצמו תופס 1.56TB |
| 8 ג'יגה זיכרון | נכון, עם הגבלת זיכרון קשיחה, אבל על מחשב חזק ועם דיסק NVMe מהיר |
| התשובה זהה עד התו האחרון | נכון במצב ברירת המחדל. אם מפעילים דגימה אקראית, התשובות יכולות להשתנות |
אף אחד מהדיוקים לא מבטל את ההישג. הם רק עוזרים להבין מה בדיוק הושג.
כמה זמן באמת לוקחת תשובה?
כאן נופל האסימון. ב-8GB זיכרון כל טוקן לוקח כ-26.5 שניות. עם 128GB ומעלה זה יורד ל-5.6 שניות לטוקן.
בהדגמה מהתיעוד המודל קיבל את תחילת המשפט "The capital of France is". הוא ייצר 8 טוקנים ב-4 דקות ו-21 שניות, והראשון שבהם היה Paris. התשובה נכונה, רק שבינתיים הספקתם להכין קפה.
עשיתי חשבון פשוט: תשובה של 200 טוקנים, בערך פסקה, תיקח כ-88 דקות ב-8GB וכ-19 דקות ב-128GB. לזה מתווספים כ-1.7TB של דיסק פנוי, ובדיסק רשת המהירות נמוכה פי כמה.
גם היכולות מוגבלות בשלב הזה. אין תמיכה בכלים, בתמונות או בשרת HTTP, ולכן אי אפשר לחבר את המנוע לסוכן כמו שהוא.
מה אני לוקח מזה לעבודה עם AI?
המסקנה שלי לא קשורה דווקא ל-Kimi. גודל לבדו כבר לא קובע אם מודל יכול לרוץ על חומרה צנועה. החסם זז למקום אחר: זמן המתנה, מהירות דיסק, ומה אתם מוכנים לוותר עליו.
יש כאן גם שיעור שמתאים לכל מי שעובד עם סוכנים: לא טוענים הכול מראש. המנוע הזה מביא רק את מה שנדרש לטוקן הנוכחי, ובדיוק כך עובדים סקילים טובים ב-Claude Code: הסוכן קורא את ההוראות המלאות רק כשהוא צריך אותן.
וזו עוד תזכורת למה קוד פתוח ב-AI מעניין אותי. מישהו לקח מודל ענק, קרא איך הוא בנוי, ומצא דרך שלא הייתה ברורה מאליה.
מה אני הייתי עושה?
לא הייתי מתחיל בהורדה של 1.56TB. הצעד הראשון שלי הוא לבנות את המנוע ולהריץ את חבילת הבדיקות שלו, וזה אפשרי גם בלי קובץ המודל. ככה רואים איך הפרויקט בנוי בלי לתפוס דיסק שלם.
ואם המטרה שלכם היא מודל שעובד אצלכם על המחשב כבר היום, עדיף מודל קטן שנבנה לזה, כמו Gemma 4 12B.
ובפעם הבאה שתראו כותרת של "רץ על כל מחשב", תשאלו ארבע שאלות:
- על איזו חומרה זה נמדד בפועל?
- כמה שניות לוקח כל טוקן?
- כמה דיסק צריך, ובאיזו מהירות?
- אילו יכולות חסרות לעומת המודל המלא?
שאלות נפוצות
אפשר להריץ את Kimi K3 על לפטופ רגיל?
הריפו תומך ב-Linux, macOS ו-Windows, אבל כל המדידות נעשו על תחנת עבודה חזקה עם הגבלת זיכרון ודיסק NVMe מהיר. בלפטופ צריך גם כ-1.7TB פנויים, ועל דיסק איטי יותר המהירות תרד.
התשובה ב-8GB פחות טובה מהתשובה ב-128GB?
לפי התיעוד, הפלט זהה בייט אחרי בייט בכל כמות זיכרון, כל עוד משתמשים בברירת המחדל בלי דגימה אקראית. יותר זיכרון משנה רק את המהירות.
צריך כרטיס מסך כדי להריץ את זה?
לא. למנוע אין בכלל מסלול עבודה על GPU. במחשב הבדיקות היו ארבעה כרטיסי מסך, והם לא השתתפו בחישוב.
זה חינמי?
הקוד של המנוע פתוח ברישיון Apache-2.0. המשקולות של המודל לא נמצאות בריפו, ויש להן רישיון נפרד של Moonshot AI. העלות האמיתית היא דיסק, חשמל והרבה זמן המתנה.
רוצים להמשיך לעקוב אחרי מה שקורה ב-AI, בלי לרדוף אחרי כל כותרת? הצטרפו לניוזלטר "אלעד עמרני AI".
ואם אתם רוצים ללמוד לעבוד עם הכלים האלה או להכניס סוכני AI לחברה, אני מעביר סדנאות ומפתח סוכנים לחברות ב-Agentic-dev.
קרדיט: המאמר נכתב בהשראת הריל של Prince Gupta. המנוע פותח על ידי Fareed Khan, והמודל Kimi K3 שייך ל-Moonshot AI.


