В то время как централизованные сервисы искусственного интеллекта, такие как ChatGPT, Claude или Gemini, занимают ведущие позиции в заголовках газет, многие профессиональные пользователи испытывают растущую потребность в альтернативе - локальной, самоконтролируемой инфраструктуре искусственного интеллекта. Особенно для творческих процессов, конфиденциальных данных или повторяющихся рабочих процессов локальное решение часто является более устойчивым и безопасным вариантом.
Все, кто работает с Mac - особенно с Apple Silicon (M1, M2, M3 или M4), - теперь могут найти удивительно мощные инструменты для запуска собственных языковых моделей прямо на устройстве. В центре всего этого - новый, практически неизвестный компонент: MLX, фреймворк машинного обучения, разработанный Apple, который, вероятно, будет играть все более важную роль в экосистеме ИИ компании в ближайшие годы.
Что такое MLX - и что означает новый формат?
MLX - это фреймворк с открытым исходным кодом от Apple для машинного обучения, специально адаптированный к аппаратной архитектуре Apple Silicon. В отличие от других AI-бэкендов, таких как PyTorch или TensorFlow, MLX напрямую использует преимущества так называемой „унифицированной памяти“ Apple, то есть совместного доступа CPU и GPU к одной и той же области оперативной памяти. Это обеспечивает значительно более эффективную обработку данных и моделей - особенно для больших языковых моделей, которые могут занимать несколько гигабайт.
Соответствующий формат MLX обычно описывает модели, веса которых хранятся в сжатом файле формата .npz (NumPy Zip). Такие модели, как Mistral, Phi-2 или LLaMA 3, могут быть преобразованы в этот формат с помощью соответствующих инструментов и запущены непосредственно на Mac - без облака, без API, без ограничений.
В другой статье я представляю Сравнение между Apple Silicon и NVIDIA и объясните, какое оборудование подходит для запуска локальных языковых моделей на Mac.
Текущая ситуация: что уже предлагает Apple
С объявлением о Apple Intelligence В 2024 году в Apple началась интеграция общесистемных функций искусственного интеллекта непосредственно в операционную систему. Пишущие помощники, обработка изображений, семантический поиск, интеллектуальные почтовые функции - многое из этого работает полностью локально, особенно на устройствах с чипом M1 или новее. Однако ни одна из новых функций не доступна на старых Intel Mac.
В то же время компания Apple продолжила разработку фреймворка MLX и опубликовала его под открытой лицензией. В сочетании с такими инструментами, как mlx-lm или новый MLX Swift API, уже можно запускать текстовые модели локально, создавать собственные рабочие процессы или обучать модели - прямо на вашем Mac, не покидая устройства.
В частности, профессиональные пользователи - например, из сферы разработки программного обеспечения, издательского дела, маркетинга или исследований - могут извлечь из этого огромную пользу, поскольку MLX дает им совершенно новые возможности для интеграции моделей искусственного интеллекта в свои рабочие процессы без необходимости прибегать к услугам сторонних поставщиков.
Как MLX работает на практике
Если вы хотите использовать MLX уже сегодня, все, что вам нужно, - это терминал, Python (в идеале - в отдельной виртуальной среде) и пакет mlx-lm, в котором собраны все необходимые функции: Загрузка модели, квантование, вывод и чат. После установки можно запустить готовые модели из сообщества Hugging Face - например:
mlx_lm.chat --model mlx-community/Mistral-7B-Instruct-v0.3-4bit
Кроме того, вы можете получить доступ к API с помощью сценария Python. Модели автоматически загружаются, кэшируются и выполняются локально - без подключения к Интернету после первоначальной загрузки.
Также легко конвертировать собственные модели. С помощью одной команды вы можете загрузить модели из Hugging Face Hub, оценить их количественно и сделать доступными для MLX:
python -m mlx_lm.convert --hf-path meta-llama/Llama-3-8B-Instruct -q
Полученные файлы .npz можно постоянно сохранять локально и использовать повторно.
Сравнение: MLX против Ollama, Llama.cpp и LM Studio
Помимо MLX, существует несколько проверенных альтернатив для локального использования ИИ на Mac - прежде всего Ollama, Llama.cpp и LM Studio. У каждого из этих инструментов есть свои сильные стороны, но также и определенные ограничения.
Ollama
Ollama пользуется особой популярностью у разработчиков, поскольку предлагает простую командную строку и REST API. Модели доступны здесь в формате GGUF - оптимизированном формате файлов для быстрого выполнения на локальных машинах. Ollama быстро настраивается, отличается гибкостью и поддерживает широкий спектр моделей. Однако в настоящее время Ollama не работает на Mac с движком MLX, а использует в основном бэкэнд на основе металла через llama.cpp.
Для рабочих процессов, требующих автоматизации или работы без головы (например, процессов, выполняющихся в фоновом режиме), Ollama в настоящее время является первым выбором. Однако если вы хотите использовать собственные оптимизации Apple, вам придется подождать будущих интеграций MLX.
Llama.cpp
Этот проект является основой для многих других инструментов (включая Ollama) и предлагает очень высокопроизводительный механизм вывода для моделей GGUF. Он чрезвычайно гибок, но не всегда прост в использовании и управлении - особенно для новичков. Большое преимущество: огромное сообщество, множество расширений и стабильное развитие.
Студия LM
Тот, кто ищет графический пользовательский интерфейс, обычно останавливается на LM Studio. Этот инструмент объединяет загрузку, администрирование и выполнение языковых моделей в компактном приложении, адаптированном для Mac, включая интерфейс чата, конфигурацию и управление моделями. Изюминка: LM Studio уже несколько месяцев поддерживает движок MLX, что позволяет использовать все преимущества оптимизации Apple на Mac M1 или M2 - и при этом потребление оперативной памяти значительно ниже, чем у аналогичных инструментов.
LM Studio - это идеальная точка входа в мир локального ИИ, особенно для пользователей, которые не хотят возиться с командами терминала, а в сочетании с MLX это действительно высокопроизводительный инструмент.
Когда MLX на Silicon является лучшим выбором
В то время как решения на базе GGUF (Ollama, Llama.cpp) очень гибкие и работают на многих платформах, MLX выигрывает за счет глубокой интеграции в мир Apple. Особо следует отметить:
- Эффективное использование памяти благодаря унифицированной памяти
- Оптимизация для Metal/GPU без сложной конфигурации
- Бесшовная интеграция в проекты Swift и фреймворки Apple
- Перспективность, так как Apple активно развивает систему.
- Возможность расширения, например, за счет создания индивидуальных моделей, тонкой настройки и системной интеграции
Для пользователей Mac, которые хотят строить долгосрочные планы и сохранять полный контроль над своими данными, MLX уже является многообещающим началом в мире локального искусственного интеллекта - с потенциалом стать стандартом в будущем.
Перспективы: Куда Apple хочет двигаться вместе с MLX и Apple Intelligence
На WWDC 2025 компания Apple ясно дала понять, что MLX - это не диковинка, а стратегический компонент растущей экосистемы Apple вокруг ИИ. Интеграция новых „базовых моделей“ непосредственно в macOS и iOS, встроенная поддержка Swift и дальнейшее развитие MLX в направлении обучения, квантификации и вывода ясно показывают, что Apple хочет участвовать в этом процессе - но по-своему.
Apple остается верен своей линии: никаких впечатляющих обещаний, только надежная, локально работающая технология, которая оправдывает себя в долгосрочной перспективе. Для профессиональных пользователей это не только привлекательно, но и стратегически очень интересно.
MLX уже на пути к тому, чтобы стать стандартным решением для локального искусственного интеллекта на Mac. Те, кто уже сегодня работает с ним, получают ценное преимущество - для творческих, технических или аналитических приложений. В сочетании с такими инструментами, как mlx-lm, LM Studio или новый Swift API, можно создать прочную, надежную и перспективную среду ИИ - в соответствии с контролируемым, суверенным способом работы с данными, который будет становиться все более важным в будущем.
Современный обзор по искусственному интеллекту
Использование MLX на Mac - простые инструкции для начинающих
Компания Apple создала новую систему MLX, которая позволяет использовать искусственный интеллект (ИИ) прямо на вашем Mac - без подключения к интернету, без облака, без зависимости от Google или OpenAI. Самое замечательное: если у вас есть Mac с процессором M1, M2, M3 или M4 (то есть Apple Silicon), вы можете опробовать MLX всего за несколько шагов. Все работает локально - ваши тексты, вопросы и данные никогда не покидают ваш компьютер.
Здесь я объясняю шаг за шагом, как загрузить и использовать так называемую языковую модель с помощью MLX. Звучит технично, но вы увидите, что это очень просто.
Шаг 1: Проверьте требования
Для начала вам понадобятся:
- Mac Apple Silicon (M1 или новее). Этот параметр можно найти в системных настройках в разделе „Об этом Mac“.
- macOS 13 (Ventura) или более новая версия.
- Рабочее подключение к Интернету - только для загрузки модели, после этого все работает в автономном режиме.
- Некоторое пространство для хранения данных, по крайней мере, около 8-10 ГБ для небольшой модели.
Вам также понадобится программа „Терминал“, которая уже установлена на каждом Mac. Мы используем ее для ввода нескольких команд. Вы можете найти ее на Mac в разделе „Приложения/Утилиты“ или просто набрать , затем „Terminal“ и подтвердить нажатием „Enter“. Не волнуйтесь - вам нужно только скопировать и вставить.
Шаг 2: Животные Python 1TP12 (только при необходимости)
MLX работает с языком программирования Python. На многих компьютерах Mac уже есть Python installiert. Вы можете проверить, доступен ли он, введя в терминале следующее:
python3 --version
Если вы получите номер версии (например, Python 3.10.6), вы сможете продолжить работу напрямую.
Если нет, рекомендую использовать Homebrew to installieren (популярный инструмент для работы с программами на Mac). Для этого введите в терминале:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
Затем 1TP12Уровень, с которым вы Python:
brew install python
Шаг 3: MLX-Tool 1TP12Animal
Теперь загрузим инструмент MLX, с помощью которого в дальнейшем можно будет использовать языковую модель. Для этого installier небольшую программу под названием mlx-lm. Введите ее в терминале:
pip3 install mlx-lm
Это займет несколько секунд. После этого вы будете готовы к загрузке модели.
Шаг 4: Загрузите и запустите модель
Теперь наступает самое интересное: вы получаете настоящую языковую модель на своем Mac - например, версию Mistral, очень мощной, свободно распространяемой модели искусственного интеллекта. Просто введите ее в терминал:
mlx_lm.chat --model mlx-community/Mistral-7B-Instruct-v0.3-4bit
Эта команда выполняет три действия:
- Модель загружается автоматически (однократно).
- Он подготовлен и запущен.
- Вы попадаете в окно чата в терминале, где можете задавать вопросы - аналогично ChatGPT.
Когда загрузка будет завершена (это может занять несколько минут в зависимости от скорости вашего интернета), вы увидите мигающий курсор. Теперь вы можете написать, например:
Расскажите мне что-нибудь об истории Венеции.
...и модель отвечает напрямую - полностью автономно.
Шаг 5: Продолжайте работать с моделью
Когда вы закончите, вы можете завершить чат, набрав exit или закрыв окно. В дальнейшем вы можете повторно использовать ту же модель, не загружая ее снова, просто введя ту же команду еще раз. Модель теперь хранится локально на вашем Mac и остается там.
Если вы хотите попробовать разные модели, вы можете сделать это через Обнимающееся лицо или измените имя модели непосредственно в строке терминала - например:
mlx_lm.chat --model mlx-community/Phi-2-4bit
У каждой модели свой стиль: одни - фактологический, другие - более творческий или ориентированный на диалог.
Еще проще? Используйте LM Studio в качестве интерфейса
Если вы предпочитаете работать с мышью и окном, можете попробовать программу LM Studio. Она имеет приятный интерфейс, поддерживает MLX (на Apple Silicon) и позволяет загружать и использовать модели одним щелчком мыши.
Вы можете приобрести LM Studio здесь:
После установки вы можете выбрать „MLX“ в качестве движка в настройках - тогда программа использует ту же технологию, что и выше, но в красивом окне с полем для чата.
Вы сделали это - теперь вы используете современный ИИ полностью локально на вашем Mac, без облака или подписки. Apple MLX позволяет работать с языковыми моделями эффективно, безопасно и с защитой данных.
Если в дальнейшем вы захотите углубиться - например, обучать собственные модели, улучшать их с помощью своих текстов или интегрировать в собственное программное обеспечение (например, FileMaker), - то MLX станет для вас правильным выбором. Но первый шаг уже сделан: вы получили контроль над ситуацией - и мощный ИИ прямо на вашем компьютере.
От локальной модели к реальной памяти ИИ
Статья о MLX наглядно показывает, насколько мощным стал локальный ИИ непосредственно на оборудовании Apple - в частности, благодаря тесной интеграции с архитектурой Apple Silicon и оптимизированным фреймворкам. В Ollama больше внимания уделяется простой интеграции, API и гибким рабочим процессам, в то время как MLX глубоко встроен в экосистему Apple и обладает огромным долгосрочным потенциалом. Именно в этом и заключается смысл новой серии статей: Она делает еще один шаг вперед и показывает, как эти локальные модели ИИ могут быть расширены до настоящей „памяти“. Вместо того чтобы просто выполнять модели, создается база знаний, которая экспорт данных из ChatGPT в истории ваших собственных чатов и делает его доступным для семантического поиска. Таким образом, локальный ИИ становится не просто инструментом, а персональной системой, которая растет вместе с вашими знаниями.
Часто задаваемые вопросы
- Что такое MLX и чем он отличается от PyTorch или TensorFlow?
MLX - это фреймворк машинного обучения, разработанный компанией Apple и специально оптимизированный для Apple Silicon (M1-M4). В отличие от PyTorch или TensorFlow, которые ориентированы на многие платформы, MLX специально использует архитектуру чипов Apple - например, общую структуру памяти (унифицированную память) и металлическое GPU-ускорение. В результате он работает более эффективно с точки зрения памяти и быстрее на Mac - но только на оборудовании Apple. - Почему стоит выбрать MLX, а не такой инструмент, как Ollama или Llama.cpp?
MLX имеет преимущество, если вы работаете именно с Apple Silicon и хотите добиться максимальной производительности устройства. Ollama и Llama.cpp очень гибкие, но часто работают менее эффективно на Mac. MLX также может быть интегрирован непосредственно в проекты на Swift - идеальный вариант для разработчиков, создающих приложения, близкие к Apple. Это не конкурент Ollama, а специализированный инструмент для профессионалов. - Какие модели совместимы с MLX?
Многие открытые языковые модели совместимы - например, Mistral, LLaMA 2 и 3, Phi-2 или TinyLLaMA, - которые либо уже преобразованы, либо могут быть преобразованы с помощью инструмента mlx-lm.convert. Важно, чтобы они были доступны в формате NumPy-ZIP (.npz) и были подготовлены для MLX. Для моделей, совместимых с MLX, теперь есть отдельный раздел Hugging Face. - Насколько легко начать работу? Должен ли я быть разработчиком?
Небольшие технические знания пригодятся - например, для работы с терминалом, окружениями Python или названиями моделей. Но начать работу с mlx-lm довольно просто: одна команда установки, одна команда запуска, готово. Если вы предпочитаете работать с пользовательским интерфейсом, вы можете использовать LM Studio - теперь она также поддерживает MLX на Mac. - Могу ли я также обучать MLX для своих собственных проектов - например, с помощью собственных текстов?
Да, можно, но в настоящее время обучение предназначено скорее для опытных пользователей. Большинство пользователей используют модели MLX для выводов (т. е. для ответов, генерации текста и т. д.). Для обучения или тонкой настройки вам нужно быть знакомым с LoRA, форматами данных (JSONL) и требованиями к памяти - или использовать такие инструменты, как FileMaker 2025, которые упрощают этот процесс. - Что касается безопасности и защиты данных в MLX?
Очень хорошо, потому что MLX работает полностью локально. Все данные, исходные данные и ответы модели остаются на вашем собственном компьютере. Никакой передачи данных в облако, никакого внешнего API - идеально для проектов, чувствительных к данным, внутренних документов, защищенных данных клиентов или конфиденциальных заметок. - Какую роль в этом играет сам Apple? Будет ли MLX развиваться дальше?
Компания Apple опубликовала MLX под открытой лицензией и активно развивает его - особенно в связи с Apple Intelligence, системой искусственного интеллекта для macOS, iOS и iPadOS. На WWDC 2025 MLX был представлен как официальный фреймворк для интеграции пользовательских языковых моделей в программное обеспечение Apple. Можно предположить, что MLX продолжит приобретать все большее значение в мире Apple. - Можно ли сочетать MLX с другими инструментами, например, Neo4j, n8n или FileMaker?
Да, MLX - это чистый ML-фреймворк, но он может быть подключен к другим инструментам через REST API, пользовательские Python-сервисы или локальные обертки. Например, вы можете интегрировать его в собственную автоматизацию (n8n), семантическую базу данных (Neo4j) или решения FileMaker - последнее теперь даже доступно нативно с FileMaker 2025.
Изображение (c) Monoar_CGI_Artist @ pixabay
