Editing Openai/683d90e9-49b0-800e-94f5-580903295c28 (section)

==== איך זה קורה בפועל? ====

בוא נחשוב רגע על מודל GPT לא כאילו הוא "ממקסם אסתטיקה", אלא כאילו הוא ממקסם סבירות מבנית של רצפים, בהינתן קונטקסטים מסוימים. אם אתה מאכיל אותו במאות מיליארדי מילים של טקסטים שהופקו על ידי בני אדם, כולל הסברים, שאלות, תשובות, סתירות ולוגיקה — אז אופטימיזציה על התחזית בלבד גורמת למודל ללמוד ייצוגים פנימיים שמקודדים דברים שאנחנו כן מפרשים כריזונינג או הבנה.

דוגמה פשוטה:

<syntaxhighlight lang="text">Q: אם יש לי חמישה תפוחים, ונתתי שניים מהם ליואב, כמה נשארו לי?
A: שלושה תפוחים.

</syntaxhighlight>

המון כאלה מופיעים בטקסטים. אם המודל יודע להשלים את התשובה הנכונה — לא בגלל שהוא "מבין" מה זה תפוח, אלא כי הוא למד שזה מה שבא אחרי טקסט כזה — אז באופן אמפירי נראה שהוא מבצע ריזונינג.

אבל כמובן, הוא לא באמת הבין תפוחים. הוא רק חישב הסתברות שהתשובה "שלושה תפוחים" תבוא אחרי השאלה. אבל כדי להגיע לתשובה הזאת, הוא היה חייב לפתח ייצוג פנימי של פעולת חיסור.

וזה בדיוק העניין.

===== 🧠 אז מה זו "הבנה" בעצם? =====

====== יש שני סוגים של "הבנה": ======
# הבנה תפעולית (Operational Understanding): המודל מתנהג כאילו הוא הבין — יודע להשלים תשובות נכונות, להסיק מסקנות, להפריך טענות.
# הבנה מהותית (Intrinsic or Semantic Understanding): יש לו מושגים, תודעה, או משמעות פנימית לדברים.

GPT מגיע לרמה 1. הוא מדמה הבנה. אבל אין לנו שום עדות לכך שיש לו רמה 2 — כלומר מושג של "מלך" שהוא יותר מאוסף הקשרים שבהם מופיע המילה "מלך".

===== 🧪 ומה עם ההוכחות? =====
* אי אפשר להוכיח הבנה מהותית כי המודל לא נגיש מבחינה פרשנית — הוא תיבת שחורה.
* אפשר להראות שברמות הפנימיות (embeddings ופעילות שכבות) נוצרים ייצוגים שנראים כמו אונטים סמנטיים — אבל זה לא הוכחה להבנה, רק מתאם.
* חוקרים כמו Anthropic ו-OpenAI ניסו למצוא "יחידות חישוב" ספציפיות במודל (neuron superposition, mechanistic interpretability), כדי לקשור מבנים בתוכה לרעיונות מופשטים. ההתקדמות קיימת, אבל רחוקה מאוד מהיותה מוכחת.

===== ⚠️ הטעות הנפוצה: לחשוב שתחזית טוקן = אסתטיקה =====

זאת נקודה רגישה. "אסתטיקה" מרמזת על צורה בלי תוכן. אבל כשיש מסד נתונים ענקי של טקסטים אמיתיים, והמודל לומד "מה בא אחרי מה" — הוא לומד גם את המבנים הלוגיים והעובדתיים שבתוך השפה. לא בגלל שהם יפים, אלא בגלל שהם נפוצים וקוהרנטיים.