Vad är Context Window?

Ett context window (kontextfönster) är hur mycket text en AI kan hålla i huvudet på en och samma gång. Tänk dig ett skrivbord: allt som får plats på skrivbordet kan AI:n titta på och ta hänsyn till just nu. Det som inte får plats åker ner i en låda och glöms bort. Ju större skrivbord (kontextfönster), desto mer kan AI:n "minnas" i samma samtal.

Storleken mäts i tokens — de små textbitar som AI:n jobbar med. Ett litet kontextfönster kanske rymmer några sidor text, medan de största modellerna idag kan hålla motsvarande hela böcker, ibland miljontals tokens, i minnet samtidigt. Allt du skrivit tidigare i konversationen plus AI:ns svar ryms inom detta fönster.

När fönstret blir fullt börjar det äldsta "trilla ut". Det är därför en AI ibland kan tappa tråden i väldigt långa samtal — det första du sa har helt enkelt ramlat ur minnet.

Varför är context window viktigt för ditt företag?

Storleken på kontextfönstret avgör hur stora uppgifter AI:n klarar. Vill du att AI:n ska sammanfatta ett långt avtal eller svara utifrån hela din produktkatalog, behöver allt det få plats i fönstret samtidigt.

Ett större fönster ger smartare svar i komplexa fall, men kostar också mer eftersom du betalar per token. Det gäller att välja rätt storlek för uppgiften.

Context window i praktiken

Ett svenskt konsultbolag vill att en AI ska läsa igenom en 40-sidig kravspecifikation och svara på frågor om den. Får hela dokumentet plats i kontextfönstret kan AI:n resonera kring helheten. Är fönstret för litet måste dokumentet delas upp, och svaren blir sämre.

På ZORC hjälper vi dig att välja rätt AI-modell och bygga lösningar där kontextfönstret räcker till för just dina dokument och behov.