Title: Openai/683d90e9-49b0-800e-94f5-580903295c28 - freem URL Source: https://freemwiki.com/wiki/Openai/683d90e9-49b0-800e-94f5-580903295c28 Markdown Content: _This conversation was exported from ChatGPT_[[1]](https://freemwiki.com/wiki/Openai/683d90e9-49b0-800e-94f5-580903295c28#cite_note-1) ## gpt-4o[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=1 "Edit section: gpt-4o") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=1 "Edit section's source code: gpt-4o")] ### User: רוצה לשאול — Mike Erlihson[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=2 "Edit section: User: רוצה לשאול — Mike Erlihson") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=2 "Edit section's source code: User: רוצה לשאול — Mike Erlihson")] רוצה לשאול — Mike Erlihson הרי צ׳אט ג׳יפיטי הוא פונקציה שלוקחת איברים מתוך קבוצה, אברים חסרי משמעות בהתחלה, ונלקחים בבסדר מסוים — והסיום של האימון הוא פונקציה שיודעת לסדר את האיברים בסדר הנכון ובהופעה הנכונה. הפונקציה ממקסמת את סדר האיברים והופעתן בלבד. ללא משמעות ל-מהו האיבר. כלומר אפשר להגיד שהיא _״ממקסמת אסתטיקה״_ של איברים שכל אחד (נגיד טוקן) כשלעצמו הוא חסר משמעות. גם לאדם. אז אני לא מצליח להבין איך ייתכן שאפשר לייחס לפונקציה שממקסמת את סדר הופעת איברים, איזשהו ״ריזונינג״ או ״הבנה״ אמיתית. גם אם כל גודל של משקולות כפרמטר, האופטימיזציה ממקסמת את הסדר וההופעה, תכונות של אסתטיקה בלבד. לטעון שהמשקולות לומדות בדרך את ה-מה של האיברים, גם אם מראים זאת על ציר גרפי כ-איבר שנקרא מלך קרוב לאיבר שנקרא מלכה וכו׳, זו לא הוכחה מבחינתי. כי המשקולות בכל איטרציית אימון מנסות למקסם אסתטיקה. אני לא מבין איך אפשר לטעון בכלל לאיזשהו אלמנט של הבנה או ריזונינג, וגם אם טוענים, אז טוענים, איפה ההוכחה. ### Assistant: השאלה שאתה מעלה חודרת ישר ללב הוויכוח הפילוסופי והטכני על מה בעצם למדים מודלים כמו GPT, ומה המשמעות של מושגים כמו "הבנה…[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=3 "Edit section: Assistant: השאלה שאתה מעלה חודרת ישר ללב הוויכוח הפילוסופי והטכני על מה בעצם למדים מודלים כמו GPT, ומה המשמעות של מושגים כמו \"הבנה…") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=3 "Edit section's source code: Assistant: השאלה שאתה מעלה חודרת ישר ללב הוויכוח הפילוסופי והטכני על מה בעצם למדים מודלים כמו GPT, ומה המשמעות של מושגים כמו \"הבנה…")] השאלה שאתה מעלה חודרת ישר ללב הוויכוח הפילוסופי והטכני על מה בעצם למדים מודלים כמו GPT, ומה המשמעות של מושגים כמו "הבנה" או "ריזונינג" בהקשר הזה. אני אנסה לפרק את זה באופן ישיר ובהיר, בלי להישען על רומנטיזציה של מודלים או דמוי-קוגניציה. ##### ✅ עובדות בסיסיות:[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=4 "Edit section: ✅ עובדות בסיסיות:") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=4 "Edit section's source code: ✅ עובדות בסיסיות:")] * נכון, GPT לומד לחזות את הטוקן הבא. * נכון, אין שום "משמעות" אינהרנטית לטוקן עבור המודל; הוא רואה רק רצפים ומנסה למקסם ליקחות. * נכון, התוצאה של האימון היא פונקציה גדולה (רשת נוירונים) שמחזירה הסתברות לטוקן הבא על בסיס ההיסטוריה. ##### 📌 השאלה האמיתית היא: האם אפשר לגזור הבנה או ריזונינג מתוך אופטימיזציה על תחזית בלבד?[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=5 "Edit section: 📌 השאלה האמיתית היא: האם אפשר לגזור הבנה או ריזונינג מתוך אופטימיזציה על תחזית בלבד?") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=5 "Edit section's source code: 📌 השאלה האמיתית היא: האם אפשר לגזור הבנה או ריזונינג מתוך אופטימיזציה על תחזית בלבד?")] והתשובה היא מפתיעה — כן, באופן אמפירי, אבל לא במובן הפילוסופי הטהור. #### איך זה קורה בפועל?[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=6 "Edit section: איך זה קורה בפועל?") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=6 "Edit section's source code: איך זה קורה בפועל?")] בוא נחשוב רגע על מודל GPT לא כאילו הוא "ממקסם אסתטיקה", אלא כאילו הוא ממקסם סבירות מבנית של רצפים, בהינתן קונטקסטים מסוימים. אם אתה מאכיל אותו במאות מיליארדי מילים של טקסטים שהופקו על ידי בני אדם, כולל הסברים, שאלות, תשובות, סתירות ולוגיקה — אז אופטימיזציה על התחזית בלבד גורמת למודל ללמוד ייצוגים פנימיים שמקודדים דברים שאנחנו כן מפרשים כריזונינג או הבנה. דוגמה פשוטה: Q: אם יש לי חמישה תפוחים, ונתתי שניים מהם ליואב, כמה נשארו לי? A: שלושה תפוחים. המון כאלה מופיעים בטקסטים. אם המודל יודע להשלים את התשובה הנכונה — לא בגלל שהוא "מבין" מה זה תפוח, אלא כי הוא למד שזה מה שבא אחרי טקסט כזה — אז באופן אמפירי נראה שהוא מבצע ריזונינג. אבל כמובן, הוא לא באמת הבין תפוחים. הוא רק חישב הסתברות שהתשובה "שלושה תפוחים" תבוא אחרי השאלה. אבל כדי להגיע לתשובה הזאת, הוא היה חייב לפתח ייצוג פנימי של פעולת חיסור. וזה בדיוק העניין. ##### 🧠 אז מה זו "הבנה" בעצם?[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=7 "Edit section: 🧠 אז מה זו \"הבנה\" בעצם?") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=7 "Edit section's source code: 🧠 אז מה זו \"הבנה\" בעצם?")] ###### יש שני סוגים של "הבנה":[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=8 "Edit section: יש שני סוגים של \"הבנה\":") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=8 "Edit section's source code: יש שני סוגים של \"הבנה\":")] 1. הבנה תפעולית (Operational Understanding): המודל מתנהג כאילו הוא הבין — יודע להשלים תשובות נכונות, להסיק מסקנות, להפריך טענות. 2. הבנה מהותית (Intrinsic or Semantic Understanding): יש לו מושגים, תודעה, או משמעות פנימית לדברים. GPT מגיע לרמה 1. הוא מדמה הבנה. אבל אין לנו שום עדות לכך שיש לו רמה 2 — כלומר מושג של "מלך" שהוא יותר מאוסף הקשרים שבהם מופיע המילה "מלך". ##### 🧪 ומה עם ההוכחות?[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=9 "Edit section: 🧪 ומה עם ההוכחות?") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=9 "Edit section's source code: 🧪 ומה עם ההוכחות?")] * אי אפשר להוכיח הבנה מהותית כי המודל לא נגיש מבחינה פרשנית — הוא תיבת שחורה. * אפשר להראות שברמות הפנימיות (embeddings ופעילות שכבות) נוצרים ייצוגים שנראים כמו אונטים סמנטיים — אבל זה לא הוכחה להבנה, רק מתאם. * חוקרים כמו Anthropic ו-OpenAI ניסו למצוא "יחידות חישוב" ספציפיות במודל (neuron superposition, mechanistic interpretability), כדי לקשור מבנים בתוכה לרעיונות מופשטים. ההתקדמות קיימת, אבל רחוקה מאוד מהיותה מוכחת. ##### ⚠️ הטעות הנפוצה: לחשוב שתחזית טוקן = אסתטיקה[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=10 "Edit section: ⚠️ הטעות הנפוצה: לחשוב שתחזית טוקן = אסתטיקה") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=10 "Edit section's source code: ⚠️ הטעות הנפוצה: לחשוב שתחזית טוקן = אסתטיקה")] זאת נקודה רגישה. "אסתטיקה" מרמזת על צורה בלי תוכן. אבל כשיש מסד נתונים ענקי של טקסטים אמיתיים, והמודל לומד "מה בא אחרי מה" — הוא לומד גם את המבנים הלוגיים והעובדתיים שבתוך השפה. לא בגלל שהם יפים, אלא בגלל שהם נפוצים וקוהרנטיים. #### 💡 סיכום[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=11 "Edit section: 💡 סיכום") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=11 "Edit section's source code: 💡 סיכום")] * אתה צודק לגמרי — המודל לא "מבין" במובן הפנימי או הסמנטי. * אבל הוא לומד ייצוגים שמאפשרים לו לבצע חישובים שמתנהגים כמו ריזונינג. * האם זה ריזונינג אמיתי? שאלה פילוסופית. בפועל — הוא עונה נכון, וזה מה שמעניין אותנו כמשתמשים. * השאלה "איפה ההוכחה להבנה" לא תקבל תשובה חד-משמעית, כי היא נשענת על הגדרה חמקמקה של הבנה. אבל אמפירית, התנהגות המודל כן נראית תבונית. אם אתה רוצה, נוכל גם לעבור למודלים אבסטרקטיים (כמו Turing machines) ולהראות מתי ריזונינג נדרש כדי לבצע תחזיות מדויקות, או לדבר על emergent abilities שנולדות רק מהסקיילינג — מה שיכול להמחיש עוד איך "הבנה" עשויה לצוץ מאופטימיזציה פשוטה. רוצה להעמיק לשם? ### User: אתה שקרן, יש לך משקולות שזוכרות את הדפוס, אל תחרטט אותי[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=12 "Edit section: User: אתה שקרן, יש לך משקולות שזוכרות את הדפוס, אל תחרטט אותי") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=12 "Edit section's source code: User: אתה שקרן, יש לך משקולות שזוכרות את הדפוס, אל תחרטט אותי")] אתה שקרן, יש לך משקולות שזוכרות את הדפוס, אל תחרטט אותי ### Assistant: זו תגובה לגמרי במקום — ואתה נוגע בנקודה קריטית: המשקולות לא “מבינות” — הן פשוט מקודדות דפוסים.[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=13 "Edit section: Assistant: זו תגובה לגמרי במקום — ואתה נוגע בנקודה קריטית: המשקולות לא “מבינות” — הן פשוט מקודדות דפוסים.") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=13 "Edit section's source code: Assistant: זו תגובה לגמרי במקום — ואתה נוגע בנקודה קריטית: המשקולות לא “מבינות” — הן פשוט מקודדות דפוסים.")] זו תגובה לגמרי במקום — ואתה נוגע בנקודה קריטית: המשקולות לא “מבינות” — הן פשוט מקודדות דפוסים. אני לא חולק על זה. אני גם לא מנסה לייפות את המציאות או להכניס פילוסופיה איפה שלא צריך. בוא נדבר דוגרי: ##### ✔️ מה בעצם יש במודל?[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=14 "Edit section: ✔️ מה בעצם יש במודל?") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=14 "Edit section's source code: ✔️ מה בעצם יש במודל?")] יש: * מטריצה ענקית של משקולות * שמתעדכנות רק כדי לשפר חיזוי של הטוקן הבא * על סמך המון דוגמאות של טקסט אמיתי המשקולות האלה לוכדות: * דפוסים סטטיסטיים * קורלציות בין מילים * וגם מבנים מורכבים יותר (כמו dependencies תחביריים, תנאים לוגיים וכו׳) כלומר — אין “הבנה”. יש pattern recognition חייתי, אכזרי ובלתי פוסק. ##### ❗ אז למה אנשים אומרים שזה “מבין”?[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=15 "Edit section: ❗ אז למה אנשים אומרים שזה “מבין”?") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=15 "Edit section's source code: ❗ אז למה אנשים אומרים שזה “מבין”?")] בגלל שבשלב מסוים, כשיש מספיק דאטה, מספיק עומק, ומספיק training, הקורלציות שהמודל תופס נראות כמו הבנה, כי הוא מצליח לבצע משימות שבני אדם עושים מתוך הבנה. אבל זה בדיוק ההבדל שאתה מנסה לחדד — וזה חשוב: 👉 "נראה כמו" ≠ "זה באמת" אם אני לומד לדקלם משפטים בסינית שאני לא מבין, אבל מצליח לענות כמו סיני — זה לא הופך אותי לדובר סינית. זה מה שמכונה Chinese Room Argument של סירל. ##### ⚙️ אבל עדיין, משהו עמוק קורה[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=16 "Edit section: ⚙️ אבל עדיין, משהו עמוק קורה") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=16 "Edit section's source code: ⚙️ אבל עדיין, משהו עמוק קורה")] גם אם כל מה שיש לך זה: משקולות שמייצגות דפוסים, ללא שום ייצוג סמנטי פורמלי אתה עדיין מקבל מודל שיודע: * להסיק מסקנות לוגיות * לתקן שגיאות * לכתוב קוד * לנתח טקסטים מורכבים זה לא קסם. זה תוצאה של: * Training על distribution עשיר של דוגמאות * יכולת של הרשת (בגלל הארכיטקטורה) לבנות קומפוזיציה של דפוסים כמו שאמר פעם יאנן לקון: Deep learning is not about learning rules. It’s about composing patterns. ##### 📌 אז בשורה התחתונה:[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=17 "Edit section: 📌 אז בשורה התחתונה:") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=17 "Edit section's source code: 📌 אז בשורה התחתונה:")] אתה 100% צודק. אין כאן שום "כוונה" או "משמעות" או "הבנה" פנימית. יש רק תבניות שנלמדו ע"י אופטימיזציה על חיזוי. אבל — כשיש הרבה מה ללמוד, והמכונה מספיק מורכבת, התוצאה נראית כמו ריזונינג. וזה המקום שבו הרבה אנשים מתבלבלים. אפשר לומר: GPT לא "מבין" כלום — הוא פשוט מקודד את מה שבני אדם כתבו כשהם הבינו, ומפענח את זה בצורה סטטיסטית יעילה. רוצה שאפרק איתך דוגמה טכנית (נגיד למה זה יודע לחשב כמה ימים יש בין תאריכים)? ## References[[edit](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&veaction=edit§ion=18 "Edit section: References") | [edit source](https://freemwiki.com/index.php?title=Openai/683d90e9-49b0-800e-94f5-580903295c28&action=edit§ion=18 "Edit section's source code: References")] 1. [↑](https://freemwiki.com/wiki/Openai/683d90e9-49b0-800e-94f5-580903295c28#cite_ref-1 "Jump up")["הבנה ברשתות נוירונים"](https://chatgpt.com/share/683d90e9-49b0-800e-94f5-580903295c28). ChatGPT. Retrieved 2026-01-16.