Atualmente, quem trabalha com inteligência artificial pensa frequentemente no ChatGPT ou em serviços online semelhantes. Escreve-se uma pergunta, espera-se alguns segundos - e recebe-se uma resposta como se estivesse do outro lado da linha um interlocutor paciente e muito culto. Mas o que é facilmente esquecido: Cada entrada, cada frase, cada palavra é enviada para servidores externos através da Internet. É aí que o trabalho real é feito - em computadores enormes que nunca chegamos a ver.
Em princípio, um modelo de língua local funciona exatamente da mesma forma - mas sem a Internet. O modelo é armazenado como um ficheiro no próprio computador do utilizador, é carregado na memória de trabalho no arranque e responde a perguntas diretamente no dispositivo. A tecnologia subjacente é a mesma: uma rede neuronal que compreende a linguagem, gera textos e reconhece padrões. A única diferença é que todo o cálculo é efectuado internamente. Pode dizer-se: ChatGPT sem a nuvem.
