Тот, кто сегодня работает с искусственным интеллектом, первым делом думает о ChatGPT или подобных онлайн-сервисах. Вы вводите вопрос, ждете несколько секунд - и получаете ответ, как будто на другом конце линии сидит очень начитанный и терпеливый собеседник. Но о чем легко забыть: Каждый ввод, каждое предложение, каждое слово отправляется через Интернет на внешние серверы. Именно там происходит настоящая работа - на огромных компьютерах, которые вы никогда не увидите своими глазами.
В принципе, локальная языковая модель работает точно так же - но без Интернета. Модель хранится в виде файла на компьютере пользователя, загружается в рабочую память при запуске и отвечает на вопросы прямо на устройстве. В основе лежит та же технология: нейронная сеть, которая понимает язык, генерирует тексты и распознает паттерны. Разница лишь в том, что все вычисления остаются внутри компании. Можно сказать: ChatGPT без облака.
