מודלי שפה לא קוראים טקסט מילה אחרי מילה, אלא בחלקים קטנים שנקראים טוקנים. טוקן יכול להיות מילה שלמה, חלק ממילה או סימן פיסוק. אורך הטקסט בטוקנים תלוי בשפה ובמודל.
לבעל עסק זה חשוב בעיקר בשני מקומות: כשמשתמשים במודל דרך API ומשלמים לפי כמות הטקסט שנכנסת ויוצאת, וכשמבינים כמה חומר נכנס לחלון ההקשר.
נבדק לאחרונה 16 באוקטובר 2026