Token nei modelli linguistici: cosa sono e quanto costano

Quando si parla dei costi di un modello linguistico, la prima voce è sempre "per token". Quando si parla dei suoi limiti, si parla di una "finestra di contesto" misurata in token. E quando si ottimizza un sistema di AI per spendere meno, si lavora sui token. Capire cos'è un token non è un dettaglio tecnico: è la base per ragionare su costi, scalabilità e scelta del modello giusto. Vediamolo senza tecnicismi.

Cos'è un token

Un token non corrisponde a una parola, ma a un'unità di testo più piccola, che dipende dalla lingua e dal vocabolario del modello. In inglese un token vale in media 3-4 caratteri, cioè circa tre quarti di parola: un testo di 100 parole corrisponde a circa 130-135 token. In italiano, come nelle altre lingue europee, il rapporto è un po' meno favorevole: parole più lunghe e una morfologia più ricca fanno sì che lo stesso contenuto richieda qualche token in più. In alcune lingue asiatiche con alfabeti diversi il rapporto è ancora peggiore. Qualche esempio indicativo: una parola breve e comune come "ciao" vale di solito un token, una più lunga come "intelligenza" due o tre, un documento Word di dieci pagine tra 5.000 e 8.000 token. Sono approssimazioni, perché ogni modello ha il proprio sistema di suddivisione del testo.

La finestra di contesto

La finestra di contesto è la quantità massima di token che un modello può considerare in una singola chiamata. Tutto ciò che vi rientra è "visibile" al modello per quella risposta; tutto ciò che resta fuori, per lui, non esiste. I modelli attuali hanno finestre molto ampie, da centinaia di migliaia di token fino a un milione per alcuni. Nella finestra entrano le istruzioni di sistema, la storia della conversazione, i documenti recuperati con la RAG, la domanda dell'utente e, una volta generata, la risposta.

Per un assistente sui documenti aziendali questa gestione è decisiva. Se il documento pertinente è troppo lungo, o se se ne sommano troppi, si supera il limite, e servono strategie apposite: suddividere i documenti in porzioni, recuperare solo le parti rilevanti, riassumere. E anche quando il limite non si supera, riempire la finestra di testo inutile peggiora spesso la qualità delle risposte, oltre ad aumentare i costi.

Scegliere il modello in base ai volumi

Prima di guardare in dettaglio come i token diventano costi, aiuta sapere quando la questione conta davvero. Il volume di token previsto è uno degli elementi principali nella scelta del modello. Con volumi bassi, poche centinaia di chiamate al giorno su documenti brevi, la differenza di costo tra modelli è trascurabile, e si può scegliere il più capace senza pensieri. Con volumi alti, migliaia di chiamate, documenti lunghi, flussi automatizzati, il costo per token diventa un parametro di progettazione: conviene valutare modelli più economici, architetture che riducono il testo elaborato o modelli installati in sede per i compiti più standardizzati.

Come i token determinano i costi

I fornitori fanno pagare a token, separatamente per quelli in ingresso, cioè ciò che si invia al modello, e quelli in uscita, cioè ciò che il modello genera. L'uscita costa in genere di più dell'ingresso. I prezzi vanno da pochi centesimi a diverse decine di dollari per milione di token, a seconda del modello, e cambiano spesso: vanno sempre verificati sui listini ufficiali.

Su un singolo utilizzo il costo è irrilevante. Su scala aziendale cambia tutto. Un sistema che gestisce 10.000 richieste al giorno con istruzioni lunghe può costare migliaia di euro al mese, e ottimizzare le istruzioni, eliminando testo superfluo, comprimendo il contesto e usando modelli più economici per i compiti semplici, può ridurre i costi del 50-70%. Un errore classico delle architetture progettate male è inserire documenti interi in ogni chiamata, quando basterebbe recuperare le parti pertinenti con la RAG: un documento di cinquanta pagine diventa 30.000 token a chiamata, moltiplicati per ogni utente e ogni giorno.

La distinzione tra ingresso e uscita conta anche per il tipo di compito. Riassumere, classificare o estrarre dati da documenti richiede molto testo in ingresso e produce risposte brevi: il costo è dominato dall'ingresso. Scrivere report, testi o analisi articolate produce molto testo in uscita: il costo è dominato dall'uscita. Per una classificazione ad alto volume ha senso un modello economico anche se meno capace; per una scrittura in cui la qualità è decisiva, il modello più costoso può essere giustificato.

Come ottimizzare i token senza perdere qualità

Le istruzioni essenziali contano più di ogni altra cosa: ogni parola in più nelle istruzioni si moltiplica per ogni chiamata, e istruzioni di sistema da 2.000 token usate 50.000 volte al mese sono 100 milioni di token di solo contorno. Il recupero selettivo aiuta: con la RAG si inseriscono nel contesto solo le porzioni pertinenti, non i documenti interi, e la qualità del recupero determina la qualità della risposta. Il modello giusto per ogni compito fa risparmiare molto: classificare un'email in cinque categorie si può fare con un modello piccolo ed economico, un'analisi complessa richiede un modello più capace, e instradare le richieste verso modelli diversi riduce molto i costi. La cache delle parti fisse aiuta ulteriormente: se le istruzioni di sistema sono sempre le stesse, molti fornitori permettono di memorizzarle in cache, con un costo ridotto per le chiamate successive. E le risposte strutturate riducono la spesa: chiedere risposte in un formato preciso, come campi o elenchi, riduce la verbosità e i token in uscita.

Capire i token serve anche a valutare le proposte dei fornitori. Un fornitore che non sa stimare il volume di token del sistema che propone sta vendendo qualcosa che non ha progettato davvero. E una stima dei costi mensili senza ipotesi esplicite su volumi e lunghezza delle richieste va sempre chiesta per iscritto.

Se vuoi stimare i costi di un progetto, parliamone.