Wie tegenwoordig met kunstmatige intelligentie werkt, denkt vaak als eerste aan ChatGPT of soortgelijke online diensten. Je typt een vraag in, wacht een paar seconden - en krijgt antwoord alsof er een zeer belezen, geduldige gesprekspartner aan de andere kant van de lijn zit. Maar wat wordt gemakkelijk vergeten: Elke input, elke zin, elk woord reist via het internet naar externe servers. Daar wordt het echte werk gedaan - op enorme computers die je zelf nooit te zien krijgt.<\/p>\n
In principe werkt een lokaal taalmodel op precies dezelfde manier - maar dan zonder internet. Het model wordt als bestand opgeslagen op de computer van de gebruiker, wordt bij het opstarten in het werkgeheugen geladen en beantwoordt vragen direct op het apparaat. De achterliggende technologie is hetzelfde: een neuraal netwerk dat taal begrijpt, teksten genereert en patronen herkent. Het enige verschil is dat de hele berekening binnenshuis blijft. Je zou kunnen zeggen: ChatGPT zonder de cloud.<\/p>\n
Het bijzondere hieraan is dat de technologie nu zo ver ontwikkeld is dat het niet meer afhankelijk is van enorme datacenters. Moderne Apple computers met M-processors (zoals M3 of M4) hebben een enorme rekenkracht, snelle geheugenverbindingen en een gespecialiseerde neurale motor voor machinaal leren. Daardoor kunnen veel modellen nu rechtstreeks op een Mac Mini of Mac Studio worden gebruikt - zonder serverpark, zonder ingewikkelde set-up en zonder veel ruis.<\/p>\n