ג'יני 4 של DeepMind: עולמות תלת-ממדיים אינטראקטיביים שנבנים בזמן אמת

מעבדת DeepMind של גוגל הציגה השבוע את ג'יני 4 (Genie 4), מערכת בינה מלאכותית שבונה בזמן אמת סביבות תלת-ממדיות פוטו-ריאליסטיות, כולל שמע, דיאלוגים מדוברים והדמיה של חוקי הטבע. מדובר בדור הרביעי של מה שגוגל מכנה "מודל עולם", חלק מהמרוץ לפיתוח מערכות שמבינות את העולם הפיזי ולא רק מעבדות טקסט.

לא סרטון, אלא עולם שאפשר להסתובב בו

בשונה ממחוללי וידאו שמפיקים קטעים סגורים, ג'יני 4 יוצרת מרחב וירטואלי פעיל. בין היכולות שהוצגו:

• תנועה חופשית בתוך הסביבה באמצעות המקלדת.
• שינוי תנאי השטח תוך כדי ריצה, בעזרת פקודות טקסט.
• אינטראקציה רציפה עם דמויות ממוחשבות שמגיבות לסביבה שלהן.
• פסקול תואם, מרחש רוח בעצים ועד גלים מתנפצים, לצד מוזיקה ודיאלוגים שמשתנים עם התנועה.

כל אלה תלויים בזמינות של כוח חישוב.

פיזיקה ועקביות לאורך שתי דקות

המערכת מסוגלת לדמות אווירודינמיקה והתנגשויות בין עצמים, ושומרת על עקביות מרחבית במשך כשתי דקות ברצף, פי שניים מהדור הקודם. פרק זמן כזה מספיק לתרחישים ממוקדים, למשל אימון רובוטים אוטונומיים להליכה במרחב ציבורי או הכשרת טכנאי לזיהוי תקלה מסוימת.

מודל שפה בתפקיד הבמאי

המערכת מבוססת על ארכיטקטורה היברידית שמשלבת מודלי שפה של גוגל, ביניהם Gemini Omni, Gemini 3.8 Flash ו-Gemini 4 Argon. מודל השפה מפרק משימות מורכבות לשלבים ובודק את הפריימים, ומודל העולם הופך את ההנחיות לתמונה. בהדגמה של החברה שימש השילוב לאימון רובוט דמוי-אדם של Apptronik במשחק דמקה בחדר וירטואלי, כדי לבחון תרחישים פיזיים לפני ביצועם במציאות.

התחרות, כולל זווית ישראלית

במוקד השוק עומדת חברת דקארט (Decart), שהקימו ב-2023 החוקרים הישראלים דין לייטרסדורף, אוריאן לייטרסדורף ומשה שלו. לפי פרסומים מלפני כמה שבועות, החברה מנהלת מגעים מתקדמים להימכר לאמזון תמורת כ-7 מיליארד דולר. קודם לכן עמדה על הפרק עסקה עם אנת'רופיק בכ-6 מיליארד דולר, שבוטלה לפני כחודש.

המוצרים של דקארט, מודל העולם Oasis ומודל עריכת הווידאו החי Lucy, מתמקדים ביעילות חישובית ובשיהוי אפסי, ומאפשרים מעבר בין שבבים של יצרניות שונות. עבור אמזון, רכישה כזו תאפשר להציע ללקוחות הענן סימולציות לאימון מערכות אוטונומיות על השבבים שלה עצמה.

במקביל, Runway השיקה את GWM Worlds 2 התומך באודיו, AMD רכשה את World Labs של החוקרת פיי-פיי לי ב-8.2 מיליארד דולר, וריביאן רכשה את Third Dimension לטובת נהיגה אוטונומית.

עדיין בשלב מחקרי

ב-DeepMind מציינים שבסימולציות ארוכות או אחרי עריכות רבות המודל סובל מ"זליגה" ויזואלית, מקושי בהצגת טקסט קריא ומאיבוד קביעות של אובייקטים. כל התוצרים יסומנו בחותמת המים הדיגיטלית SynthID, ובשבועות הקרובים תיפתח גישה למנויי Google AI Ultra ולמפתחים נבחרים.