MLX на Apple Silicon в качестве локального AI по сравнению с Ollama & Co.

Локальный искусственный интеллект на Mac с помощью MLX

В то время как централизованные сервисы искусственного интеллекта, такие как ChatGPT, Claude или Gemini, занимают ведущие позиции в заголовках газет, многие профессиональные пользователи испытывают растущую потребность в альтернативе - локальной, самоконтролируемой инфраструктуре искусственного интеллекта. Особенно для творческих процессов, конфиденциальных данных или повторяющихся рабочих процессов локальное решение часто является более устойчивым и безопасным вариантом.

Все, кто работает с Mac - особенно с Apple Silicon (M1, M2, M3 или M4), - теперь могут найти удивительно мощные инструменты для запуска собственных языковых моделей прямо на устройстве. В центре всего этого - новый, практически неизвестный компонент: MLX, фреймворк машинного обучения, разработанный Apple, который, вероятно, будет играть все более важную роль в экосистеме ИИ компании в ближайшие годы.

Читать далее

RAG с Ollama и Qdrant как универсальная поисковая система для собственных данных

Расширение локального ИИ с помощью баз данных с использованием RAG, Ollama и Qdrant

В условиях все более запутанного мира информации становится все более важным сделать собственные базы данных пригодными для целенаправленного поиска - не через классический полнотекстовый поиск, а через семантически релевантные ответы. Именно в этом и заключается принцип работы базы данных RAG - поискового решения с поддержкой искусственного интеллекта, состоящего из двух центральных компонентов:

Читать далее

Ollama встречает Qdrant: локальная память для вашего ИИ на Mac

Память для локального ИИ с Ollama и Qdrant

Локальный ИИ с памятью - без облака, без подписки, без отвлекающих факторов

В предыдущие статьи Я рассказал, как настроить Ollama на Mac install. Если вы уже выполнили этот шаг, то теперь у вас есть мощная локальная языковая модель - например, Mistral, LLaMA3 или другая совместимая модель, к которой можно обратиться через REST API.

Однако модель „знает“ только то, что находится в текущей подсказке. Она не запоминает предыдущие разговоры. Не хватает только воспоминаний..

Читать далее

Локальный ИИ на Mac: как installiere языковая модель с помощью Ollama

Местный AI installieren с Ollama на Mac

Локальный ИИ на Mac уже давно применяется на практике - особенно на компьютерах Apple-Silicon (серия M). С Ollama вы получаете среду выполнения для многих языковых моделей с открытым исходным кодом (например, Llama 3.1/3.2, Mistral, Gemma, Qwen). Текущая версия Ollama теперь также поставляется с удобным приложением, которое позволяет установить локальную языковую модель на вашем Mac одним щелчком мыши. В этой статье вы найдете прагматичное руководство от установки до первой подсказки - с практическими советами о том, где традиционно все идет не так.

Читать далее