Każdy, kto pracuje dziś ze sztuczną inteligencją, często najpierw myśli o ChatGPT lub podobnych usługach online. Wpisujesz pytanie, czekasz kilka sekund - i otrzymujesz odpowiedź tak, jakby na drugim końcu linii siedział bardzo oczytany, cierpliwy rozmówca. Ale o czym łatwo zapomnieć: Każde wejście, każde zdanie, każde słowo jest wysyłane do zewnętrznych serwerów przez Internet. To tam wykonywana jest właściwa praca - na ogromnych komputerach, których nigdy nie można zobaczyć.
Zasadniczo lokalny model językowy działa dokładnie w ten sam sposób - ale bez Internetu. Model jest przechowywany jako plik na komputerze użytkownika, jest ładowany do pamięci roboczej podczas uruchamiania i odpowiada na pytania bezpośrednio na urządzeniu. Technologia stojąca za nim jest taka sama: sieć neuronowa, która rozumie język, generuje teksty i rozpoznaje wzorce. Jedyna różnica polega na tym, że całość obliczeń pozostaje w firmie. Można powiedzieć: ChatGPT bez chmury.
