כל מודל שפה יכול להתייחס רק לכמות מסוימת של טקסט בכל פעם. הכמות הזו נקראת חלון ההקשר, והיא נמדדת בטוקנים. בתוך החלון נמצאים ההוראות, השיחה עד עכשיו וכל קובץ שצירפתם.
כשהחומר גדול מהחלון, משהו נשאר בחוץ: חלקים ישנים של שיחה ארוכה, או חלקים של מסמך. לכן בשיחות ארוכות כדאי לפעמים להתחיל שיחה חדשה עם סיכום, ובמאגרי מידע גדולים משתמשים בשיטות כמו RAG, ששולפות רק את החלקים הרלוונטיים.
נבדק לאחרונה 16 באוקטובר 2026