Как подключить Synology AI к локальной ИИ LLM Ollama или LM Studio

В этом материале инструкция как подключить Synology AI к локальной ИИ LLM Ollama или LM Studio, что бы пользоваться современными средствами и возможностями. В эту сторону идет человечество.

Введение

Цель этого материала показать как подключить локальный ИИ в Synology AI и не более. Конечно я приведу некоторые свои умозаключения, рекомендации по выбору аппаратного и программного обеспечения, но это побочные результаты, что бы материал был полным в рамках конечной идеи.

Synology не развивает собственную модель ИИ, но реализует интерфейс Synology AI Console для подключения сторонних моделей искусственного интеллекта. Что-то подобное делает Apple второй код, но Synology уже реализовало данный подход намного раньше.

Все модели ИИ как правило находятся за пределами России и доступ к ним нам закрыт из-за нелепых санкций. Конечно можно использовать VPN для решения этой задачи, но тогда встает другой вопрос. Как правило доступ к API этих облачных моделей ИИ платный, а мы знаем что наши карты не работают в иностранных магазинах. Да и зачем платить, если есть другое решение.

Совпадение или нет, но с обновлением Synology AI Console стало возможно подключать любые модели, даже локальные, которые совместимы с OpenAI API и вот как раз я и покажу как это реализовать. Дополнительным бонусом будет конфиденциальность. Т.к. данные не утекают в сторонние облачные системы, а остаются локально в вашей экосистеме.

Ранее я уже делал обзоры как работает Synology AI в Synology Mail Plus и Synology Office, поэтому тут рассказывать про это не буду.

Системные требования

Для развертывания локального ИИ нужно соответствующее программное и аппаратное обеспечение. Программное может подойти Ollama и LM Studio. Ollama можно запустить на Windows, Linux и MacOS как в графическом, так и в серверном исполнении. Это наверно наиболее подходящий вариант с картами Nvidia или AMD. А вот LM Studio только в графическом исполнении и этот вариант идеален для MacOS с процессорами ARM от Apple M1 и более новых.

Ollama — это серверный движок для запуска языковых моделей. Он работает в фоновом режиме (как служба), предоставляя простой API для взаимодействия. Его основная задача — эффективно загружать и выполнять модели, поддерживая их работу в долгосрочном режиме. Это оптимальный выбор, если вы хотите интегрировать модель в своё приложение или использовать её как сетевую службу.

LM Studio — это графическое настольное приложение для Windows и macOS, которое позволяет искать, скачивать и тестировать модели через удобный интерфейс, похожий на ChatGPT. Его ключевая особенность — встроенная функция «Local Server», которая одним кликом превращает любую загруженную модель в API-сервер, совместимый с OpenAI. Это идеальный инструмент для быстрого старта, экспериментов и визуального управления моделями без необходимости работы с командной строкой.

Программное обеспечение должно иметь следующие характеристики:

💻 Минимальные требования (для работы)

🎮 Рекомендуемые требования (для комфортной работы)

Из опыта, лично моего могу сказать, что встроенная графика в процессор или сам процессор для задач ИИ подходит мало. Конечно на этом можно запускать ИИ модели, но поддержка тех же AMD в ROCM очень слабая. Лучше всего использовать видео карты NVIDIA. Подробный перечень указан в документации.

Вообще идеальным вариантом для этих целей считаю Apple Mac mini с процессором ARM M1 pro и новее. Только нужно от 32 до 64 гигабайт оперативной памяти или 128, чем больше тем лучше.. Это как по мне самый лучший и самый дешевый вариант для локального ИИ. Кто бы мог подумать, что Apple будет дешевле.

Выбор модели ИИ

В зависимости от доступной оперативной памяти выбирайте:

На мой взгляд самая адекватная модель это gpt-oss:20b от OpenAI

• При 16 ГБ ОЗУ: оптимальны модели 7B-8B параметров, такие как Qwen2.5-7B-Instruct или DeepSeek-R1:8b.
• При 32 ГБ ОЗУ: можно запускать более мощные модели 14B-20B параметров, например DeepSeek-R1:14b для анализа или gpt-oss:20b для максимальной совместимости с инструментами.
• При 64 ГБ ОЗУ: доступен полный спектр моделей до 30B-32B параметров, включая Qwen3:30b и DeepSeek-R1:32b, что обеспечивает наивысшее качество ответов и работу с большим контекстом. 

Ключевое правило: всегда используйте Instruct-версии моделей и формат GGUF для совместимости.

Установка Ollama

Хорошо, допустим у вас есть ПК с Linux Ubuntu и вы готовы попробовать на нем. Например я пробовал на Aoostar WTR Pro с гипервизором Proxmox. Создал в нем виртуальную машину и выделил 8 ядер и 16ГБ ОЗУ.

Дальше все просто, нужно установить Ollama с веб интерфейсом для удобного управления.

Команды

sudo apt update
sudo apt upgrade 
sudo apt install docker.io docker-compose -y
sudo systemctl enable --now docker
sudo usermod -aG docker $USER
sudo reboot

Теперь подготовим папку для Ollama

cd /opt/
sudo mkdir ollama
sudo chown $USER ollama
cd ollama/

Создайте файл nano docker-compose.yml следующего содержания:

version: '3.8'

services:
  ollama-webui:
    image: ghcr.io/open-webui/open-webui:ollama
    container_name: ollama-webui
    restart: unless-stopped
    ports:
      - "11434:11434"  # Порт API Ollama
      - "8080:8080"    # Порт веб-интерфейса Open WebUI
    environment:
      # Ключевая настройка: разрешает подключения к API Ollama с других адресов
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_ORIGINS=*
    volumes:
      - ./ollama_data:/root/.ollama          # Для хранения скачанных моделей Ollama
      - ./openwebui_data:/app/backend/data   # Для хранения данных Open WebUI (чаты, настройки)

volumes:
  ollama_data:
  openwebui_data:

И запустите контейнер

docker-compose up -d

После развертывания контейнера откройте окно WEB UI ollama http://IP:8080. После создания нового пользователя и входа в систему загрузите модель gpt-oss:20b или любую другую на ваш выбор

Настройка LM Studio

Если мы говорим про Apple Mac, то лучше всего подойдет LM Studio, но нужно настроить. Сначала нужно включить режим разработчика, а потом разрешить серверу доступ в локальную сеть как показано на скриншотах ниже.

Настройка Synology AI Console

Для подключения локального ИИ в Synology откройте Synology AI Console и добавьте новое подключение. Придумайте название, укажите интерфейс OpenAI совместимый и URL такого вида http://IP:11434/v1. После чего нажмите на кнопку «Получить список генеративных моделей» и система выдаст все загруженные модели ИИ. Выберите нужную. Параметры окна токенов и выходные токены установите минимальные значения 8192 и 4096. Чем больше тем лучше, но все зависит от вашего аппаратного обеспечения.

Проверка результата

Если все сделано корректно, то в Synology Office и Synology Mail Plus можно будет пользоваться функциями ИИ, который будет работать локально и будет полностью конфиденциальный и его скорость будет зависеть только от вашего аппаратного обеспечения.

На этом все. Теперь вы знаете как подключить Synology AI к локальной ИИ LLM Ollama или LM Studio

Теперь вы знаете как подключить Synology AI к локальной ИИ LLM Ollama или LM Studio