Ollama: как запустить нейросеть на своём компьютере

Ollama — бесплатная программа с открытым кодом, которая позволяет скачать языковую модель и запускать её на своём компьютере: без отправки данных в интернет, без подписки и без оплаты за токены. Она работает на macOS, Windows и Linux, ставится за несколько минут, а модели запускаются одной командой. Поверх модели Ollama поднимает локальный API, совместимый с клиентами OpenAI и Anthropic, поэтому к локальной модели можно подключить свои скрипты, ботов и даже агентов для работы с кодом.

Главная причина запускать модели локально — данные. Всё, что вы отправляете модели, остаётся на вашем компьютере: это снимает вопросы о передаче персональных данных за рубеж и о хранении коммерческой тайны у стороннего сервиса. Вторая причина — работа без интернета и без внешних ограничений. Обратная сторона — открытые модели, которые помещаются на обычный компьютер, заметно слабее флагманов. В статье — как с этим жить и в каких задачах локальная модель действительно выигрывает.

Что такое Ollama и зачем запускать модели локально

Языковая модель — это большой файл с параметрами и программа, которая умеет по этим параметрам порождать текст. Облачные сервисы вроде ChatGPT держат модели на своих серверах, а вы отправляете туда запросы. Открытые модели — их публикуют, например, Google (Gemma), Alibaba (Qwen), DeepSeek, Meta (Llama), Mistral — можно скачать и запустить у себя. Ollama берёт на себя всю техническую часть: загружает модель в нужном формате, подбирает настройки под ваше железо, запускает и даёт удобный интерфейс. Подробнее о том, как устроены языковые модели, — в гайде что такое LLM.

Кому это нужно. Компаниям с требованиями к данным: юристам, медицинским организациям, финансовым отделам, всем, кто работает с персональными данными и не может отправлять их во внешний сервис. Закон № 152-ФЗ требует хранить данные россиян в России и ограничивает их передачу за рубеж, а локальная модель решает этот вопрос радикально — данные никуда не уходят. Разработчикам, которые строят приложения с моделями и хотят тестировать без оплаты за каждый запрос. Энтузиастам, которым интересно разобраться, как работают модели, и иметь ассистента без подписки.

Код Ollama открыт под лицензией MIT, программа бесплатна. Сами модели распространяются под своими лицензиями: большинство популярных открытых моделей разрешают коммерческое использование, но с условиями, которые стоит прочитать перед встраиванием в продукт. На странице каждой модели в каталоге Ollama указана её лицензия.

Установка и первый запуск

Для macOS и Windows есть обычные установщики с официального сайта ollama.com. На Linux Ollama ставится одной командой из терминала: curl -fsSL https://ollama.com/install.sh | sh. После установки Ollama работает в фоне и ждёт команд. Отдельно ничего настраивать не нужно: программа сама определяет, есть ли подходящая видеокарта, и использует её, а если нет — работает на процессоре.

Первая модель запускается одной командой. Например, ollama run gemma4 скачает модель Gemma 4 от Google при первом вызове и откроет диалог прямо в терминале. Пишете вопрос — получаете ответ, всё локально. Модель скачивается один раз и потом запускается за секунды, а выйти из диалога можно командой /bye. В десктопных версиях то же самое можно сделать в графическом интерфейсе, без терминала.

Каталог моделей — на сайте ollama.com в разделе моделей: там видно, какие размеры есть у каждой модели, сколько места они занимают и для каких задач подходят. У популярных моделей есть несколько размеров — от небольших, которые работают даже на ноутбуке, до крупных, которым нужен сервер. Выбор размера — главное решение, о нём следующий раздел.

Модель можно настроить под свою задачу без программирования. Для этого в Ollama есть файл описания модели — Modelfile: в нём указывается базовая модель, постоянная инструкция и параметры, например температура. Так получается «своя» модель с понятным именем — скажем, помощник, который всегда отвечает кратко, на русском и в деловом стиле. Её запускают так же, как любую другую, а коллеги получают одинаковое поведение, не копируя длинную инструкцию в каждый запрос.

Какое нужно железо и какую модель выбрать

Главное ограничение локальных моделей — память. Модель должна поместиться в оперативную память компьютера, а для быстрой работы — в память видеокарты. Чем больше параметров у модели, тем она умнее и тем больше памяти ей нужно. Ollama по умолчанию скачивает сжатые версии моделей, которые занимают в несколько раз меньше места, чем исходные, с небольшой потерей качества.

Компьютеры Apple на чипах M-серии удобны для локальных моделей: у них общая память для процессора и графики, и модель может занять большую её часть. Поэтому Mac с большим объёмом памяти нередко запускает модели, которые на обычном ПК потребовали бы дорогой видеокарты. Узнать, сколько памяти занимает модель после запуска и работает ли она на видеокарте или на процессоре, можно командой ollama ps.

Практический совет по выбору: начните с небольшой модели и посмотрите, справляется ли она с вашей задачей. Для пересказа писем, классификации обращений или черновиков небольшие современные модели часто достаточно хороши. Для сложных рассуждений и кода честно сравните результат с облачным флагманом: разница может оказаться существенной. Модели с хорошей поддержкой русского языка стоит проверять отдельно — качество русского у открытых моделей заметно различается даже при одинаковом размере.

Локальный API: подключаем модель к программам и агентам

Пока Ollama работает, на вашем компьютере доступен API по адресу localhost:11434. К нему можно обращаться из любых программ: своего скрипта на Python, бота, системы автоматизации. Главное удобство — совместимость: Ollama понимает формат запросов OpenAI и Anthropic, поэтому большинство готовых библиотек и инструментов, рассчитанных на эти сервисы, работают с локальной моделью после замены адреса.

На этом строятся практичные сценарии. Скрипт, который каждое утро пересказывает входящие письма, не отправляя их во внешний сервис. Бот для сотрудников, который отвечает по внутренним регламентам. Обработка документов с персональными данными, где облачная модель недопустима. Как собирать такие связки, разобрано в гайде автоматизация на n8n и Make — платформа n8n умеет работать с Ollama напрямую.

К Ollama подключаются и агенты. В документации Ollama есть интеграции с приложениями, редакторами и агентами для работы с кодом, а открытый персональный агент OpenClaw может работать на локальной модели целиком, без облака. Об агентах — в гайдах ИИ-агенты в терминале и OpenClaw. Честно о качестве: агентские задачи — самые требовательные, и небольшие локальные модели в них часто теряют нить. Для агентов имеет смысл брать крупные модели или облачные.

Облачные модели Ollama

У Ollama есть и облачный режим: можно запускать модели на серверах Ollama, не скачивая их и не имея видеокарты, — через тот же интерфейс, командную строку и API. Для этого нужен аккаунт и API-ключ. Это удобно, когда хочется попробовать большую открытую модель, которую ваш компьютер не потянет, или работать с одним интерфейсом и с локальными, и с облачными моделями.

Важно понимать, что облачный режим меняет главное преимущество Ollama: данные уходят на внешние серверы, как в любом облачном сервисе. Для задач, ради которых обычно выбирают локальную модель, — персональные данные, коммерческая тайна — облачный режим не подходит. Для экспериментов и задач без чувствительных данных — вполне.

Когда локальная модель выгоднее облака, а когда нет

Локальная модель выигрывает, когда данные нельзя отправлять во внешний сервис; когда нужна работа без интернета; когда запросов очень много, а задачи простые — классификация, пересказ, извлечение полей, — и оплата за токены в облаке становится заметной; когда нужен полный контроль над моделью и её версией, чтобы поведение не менялось без вашего ведома.

Облако выигрывает, когда нужно лучшее качество в сложных задачах — рассуждения, код, агентская работа; когда запросов немного и покупка железа не окупится; когда нет человека, который будет поддерживать сервер. Облачные модели к тому же обновляются без вашего участия, и вам не нужно следить за выходом новых версий. Сравнение облачных моделей — в гайде какую модель выбрать, а российские облачные модели с хранением данных в России разобраны в гайдах GigaChat и YandexGPT и Алиса AI.

Промежуточный вариант для компаний — открытая модель на собственном сервере или у российского облачного провайдера: качество выше, чем на ноутбуке, данные остаются под контролем. Многие открытые модели, включая модели DeepSeek и Qwen, доступны у российских провайдеров. О DeepSeek — в гайде DeepSeek: что это. Если нужна помощь с выбором и развёртыванием модели в закрытом контуре компании, это часть нашей услуги разработки ИИ-агентов.

Если Ollama работает на сервере, а не на личном компьютере, помните о безопасности. По умолчанию API Ollama не требует пароля, поэтому порт 11434 нельзя открывать в интернет: любой, кто его найдёт, сможет пользоваться вашей моделью и нагружать сервер. Доступ к серверу с моделью стоит ограничить внутренней сетью компании или поставить перед ним прокси с авторизацией. И не забывайте обновлять саму Ollama — в программе, как в любой другой, находят и исправляют уязвимости.

С чего начать: поставьте Ollama на свой компьютер, запустите небольшую модель и дайте ей 10 типичных задач из своей работы, которые не жалко показать. Сравните ответы с облачной моделью. Если для части задач разница незаметна — это кандидаты на локальную обработку, особенно если в них есть данные, которые лучше не отправлять за пределы компании.

Автор: Артём Беспалов, маркетинговое ИИ-агентство «Термос Беспалова», Калининград.

Источники: документация Ollama: установка, API, совместимость, облачные модели · репозиторий Ollama на GitHub (лицензия MIT) (проверено 04.10.2026).