Установка локального ИИ Deepseek на Synology и Linux c Web интерфейсом

Установка локального ИИ Deepseek на Synology и Linux c Web интерфейсом

В этом материале я покажу, как установить локальный ИИ DeepSeek на Synology и Ubuntu Linux, чтобы вы могли использовать мощь искусственного интеллекта локально, не передавая свои данные в облака. Узнайте, почему Synology — не лучший выбор, и как добиться максимальной производительности с помощью мощных GPU.

Канал Телеграм Канал Дзен Группа ВКонтакте Канал YouTube Канал Rutube

Введение

DeepSeek — это проект, связанный с разработкой открытых технологий искусственного интеллекта, и его исходный код доступен для использования. Это позволяет запускать модели локально на вашем устройстве, что обеспечивает конфиденциальность данных и гибкость в настройке. DeepSeek предоставляет доступ к своим моделям и инструментам через открытые репозитории, такие как GitHub. Это позволяет разработчикам и исследователям изучать, модифицировать и улучшать код.

Преимущества локального запуска:

  • Конфиденциальность: Ваши данные остаются на вашем устройстве и не передаются в облако.
  • Гибкость: Вы можете адаптировать модель под свои нужды.
  • Независимость: Работа без необходимости постоянного подключения к интернету.

Для запуска локального ИИ Deepsek можно использовать инструменты Ollama.

Ollama — это проект, связанный с разработкой и внедрением технологий искусственного интеллекта (ИИ), в частности, с созданием и оптимизацией больших языковых моделей (LLM, Large Language Models). Основная цель Ollama — сделать мощные языковые модели более доступными и удобными для использования на локальных устройствах, таких как персональные компьютеры, без необходимости полагаться на облачные сервисы.

Для кого Ollama?

  • Разработчики: для интеграции языковых моделей в свои приложения.
  • Исследователи: для экспериментов с моделями и их адаптации под конкретные задачи.
  • Пользователи: для локального использования ИИ без необходимости отправки данных в облако.

Если запустить ИИ DeepSeek через Ollama, то получим консольный вариант, что не очень удобно. Поэтому для более привычного взаимодействия с ИИ можно воспользоваться Open WebUI.

Open WebUI – это гибкая, многофункциональная и удобная для пользователей платформа искусственного интеллекта, которая работает автономно. Она поддерживает разные LLM-раннеры, например, Ollama, и совместима с OpenAI API. Благодаря встроенному механизму вывода для RAG, эта платформа является мощным инструментом для внедрения искусственного интеллекта.

Теперь давайте я соберу это все воедино, установлю и покажу вам.

Установка на Linux

Я буду рассказывать как установить на Linux Ubuntu. Но по аналогии можно установить на любой другом дистрибутиве Linux.

Необходимые компоненты:

  • NGC Cli
  • Docker
  • nvidia-container-toolkit
  • cuda-toolkit
  • anaconda
  • pytorch – python 3.11
  • tensorflow-gpu
  • open-driver

Если воспользоваться сервисом immers.cloud, то у них есть готовые образы, достаточно выбрать этот образ и сразу перейти к установке ИИ

Если вы будите делать на чистой Ubuntu Linux, то вот команды по установке необходимых компонентов:

Установка компонентов

1. Обновление системы

Перед началом убедитесь, что система обновлена:

sudo apt update && sudo apt upgrade -y

Затем перезагрузите сервер командой:

sudo reboot

2. Установка NVIDIA Open Driver

  1. Добавьте репозиторий NVIDIA:
   sudo add-apt-repository ppa:graphics-drivers/ppa
   sudo apt update
  1. Установите драйвер:
   sudo apt install nvidia-driver-535 -y
  1. Перезагрузите систему:
   sudo reboot
  1. Проверьте установку:
   nvidia-smi

3. Установка CUDA Toolkit

  1. Скачайте CUDA Toolkit с официального сайта NVIDIA.
  2. Установите CUDA (замените cuda-12.2 на нужную версию):
   sudo apt install cuda-toolkit-12-2
  1. Добавьте CUDA в PATH:
   echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc
   echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
   source ~/.bashrc
  1. Проверьте установку:
   nvcc --version

4. Установка Docker

  1. Установите Docker:
   sudo apt install docker.io -y
  1. Добавьте текущего пользователя в группу docker:
   sudo usermod -aG docker $USER
   newgrp docker
  1. Проверьте установку:
   docker --version

5. Установка NVIDIA Container Toolkit

  1. Добавьте репозиторий NVIDIA:
   distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
   curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
   curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
  1. Установите NVIDIA Container Toolkit:
   sudo apt update
   sudo apt install nvidia-container-toolkit -y
  1. Перезапустите Docker:
   sudo systemctl restart docker
  1. Проверьте установку:
   docker run --rm --gpus all nvidia/cuda:12.2-base nvidia-smi

6. Установка Anaconda

  1. Скачайте Anaconda:
   wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh
  1. Установите Anaconda:
   bash Anaconda3-2023.07-2-Linux-x86_64.sh
  1. Обновите ~/.bashrc:
   source ~/.bashrc
  1. Проверьте установку:
   conda --version

7. Установка PyTorch (Python 3.11)

  1. Создайте виртуальное окружение:
   conda create -n deepseek python=3.11 -y
   conda activate deepseek
  1. Установите PyTorch с поддержкой CUDA:
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
  1. Проверьте установку:
   python -c "import torch; print(torch.cuda.is_available())"

8. Установка TensorFlow-GPU

  1. Установите TensorFlow:
   pip install tensorflow-gpu
  1. Проверьте установку:
   python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"

9. Установка NGC CLI

  1. Скачайте NGC CLI:
   wget https://ngc.nvidia.com/downloads/ngccli_linux.zip
   unzip ngccli_linux.zip
  1. Установите:
   chmod u+x ngc
   sudo mv ngc /usr/local/bin/
  1. Проверьте установку:
   ngc --version
  1. Настройте доступ:
   ngc config set

10. Проверка всей системы

  1. Проверьте, что все компоненты работают:
  • NVIDIA Driver: nvidia-smi
  • CUDA: nvcc --version
  • Docker: docker --version
  • PyTorch: python -c "import torch; print(torch.cuda.is_available())"
  • TensorFlow: python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"

Теперь ваша система готова для работы с ИИ.

Установка Open WebUI с поддержкой Ollama

Этот метод установки использует один образ контейнера, который объединяет Open WebUI с Ollama, что позволяет оптимизировать настройку с помощью одной команды. Выберите подходящую команду в зависимости от настройки оборудования:

  • С поддержкой графического процессора: Используйте ресурсы графического процессора, выполнив следующую команду:
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
  • Только для процессора: если вы не используете графический процессор, используйте вместо этого эту команду:
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Обе команды облегчают встроенную, беспроблемную установку как Open WebUI, так и Ollama, гарантируя, что вы сможете быстро все настроить и запустить.

После установки вы можете получить доступ к Open WebUI по адресу http://IP-Server:3000.

Установка на Synology

Для установки на Synology потребуется Container Manager, если он у вас есть отлично, если нет, то можно выполнить из графического интерфейса, но я не буду это демонстрировать в этой инструкции.

Для начала создайте в папке docker каталог ollama а в нем еще две пустые папки ollama и open-webui как показано на картинке ниже

В Container Manager создайте новый проект. Придумайте ему имя и укажите папку проекта ollama, которую создавали ранее.

Файл docker-compose проекта:

services:
  webui-ollama:
    container_name: webui-ollama
    image: ghcr.io/open-webui/open-webui:ollama
    volumes:
      - ./ollama:/root/.ollama
      - ./open-webui:/app/backend/data
    healthcheck:
      test: timeout 10s bash -c ':> /dev/tcp/127.0.0.1/8080' || exit 1
      interval: 10s
      timeout: 5s
      retries: 3
      start_period: 90s
    ports:
      - 8234:8080
    restart: unless-stopped

Exit code 0 означает, что проект создан успешно

Теперь ждите, когда open-webui скачает и развернет необходимые компоненты

Можно сделать доступ к ИИ по доменному имени через обратный прокси в Synology. Откройте панель управления в DSM, портал для входа, дополнительно и обратный прокси. Создайте новое правило. Придумайте название правила. В источнике укажите https, имя домена, например deepseekXXX.synology.me и 443 порт. В месте назначения укажите http, localhost и порт 8234.

Подключение к ИИ

Затем нужно открыть в браузер страницу http://IP-NAS:8234 либо сделать как я через обратный прокси на Synology. На Linux используется порт 3000, если вы его не изменили.

В открывшемся окне создайте первый аккаунт от вашего персонального ИИ.

Никакой модели ИИ еще нет, это просто WEB оболочка. Что бы ее добавить введите в поиск deepseek-r1:1.5и и нажмите загрузить

На сайте ollama есть очень много разных моделей. Я выбрал DeepSeek-r1:1.5b самую маленькую. Чем умнее модель, тем она больше потребляет ресурсов соответственно.

Готово, можно задавать вопросы и получать не очень умные ответы. Я же выбрал самую легкую модель ИИ DeepSeek-R1 на 1,5 миллиона параметров. Зато сразу видно, что можно делать несколько чатов как у оригинала.

Скорость работы на Synology

Имейте в виду, что любой даже самый простой вопрос будет уводить процессор в 100% и ждать ответа нужно будет очень долго до целого часа. Это не позволит пользоваться таким ИИ в полной мере.

Небольшой вывод

Мне, как думаю и вам, хотелось запустить локальный ИИ DeepSeek на Synology и я показал как это сделать. Вот только толку от этого конечно мало. Работает DeepSeek на Synology кране медленно, можно сказать нереально медленно и пользоваться таким это себе вредить. Для работы ИИ нужны порядочные мощности и мощности видео ускорителей. Поэтому можно их купить либо воспользоваться сервисом, например immers.cloud. Не дешево, но попробовать можно. Думаю вы найдете применение данного материала в хороших целях.

Установка локального ИИ Deepseek на Synology и Linux c Web интерфейсом

Канал Телеграм Канал Дзен Группа ВКонтакте Канал YouTube Канал Rutube

Метки:
Подписаться
Уведомить о
guest
11 Комментарий
Старые
Новые
Межтекстовые Отзывы
Посмотреть все комментарии