Wie tegenwoordig met kunstmatige intelligentie werkt, denkt vaak als eerste aan ChatGPT of soortgelijke online diensten. Je typt een vraag in, wacht een paar seconden - en krijgt antwoord alsof er een zeer belezen, geduldige gesprekspartner aan de andere kant van de lijn zit. Maar wat wordt gemakkelijk vergeten: Elke input, elke zin, elk woord reist via het internet naar externe servers. Daar wordt het echte werk gedaan - op enorme computers die je zelf nooit te zien krijgt.
In principe werkt een lokaal taalmodel op precies dezelfde manier - maar dan zonder internet. Het model wordt als bestand opgeslagen op de computer van de gebruiker, wordt bij het opstarten in het werkgeheugen geladen en beantwoordt vragen direct op het apparaat. De achterliggende technologie is hetzelfde: een neuraal netwerk dat taal begrijpt, teksten genereert en patronen herkent. Het enige verschil is dat de hele berekening binnenshuis blijft. Je zou kunnen zeggen: ChatGPT zonder de cloud.
