DeepSeek - Быстрое локальное развертывание.

Материал из iSphinx Wiki

Развертывание через ollama:

Официальный сайт: https://ollama.com/

  1. Установка: Скачайте установочный пакет ollama и запустите его двойным кликом. После этого нажмите кнопку install - установка пройдет автоматически.
  2. Проверка установки: Откройте командную строку (cmd) и введите: ollama. Если в терминале вы видите подробный вывод, значит, всё прошло успешно. В противном случае стоит проверить шаги установки или обратиться к документации.
  3. Поиск и запуск модели: Перейдите на официальный сайт ollama и введите в поиске ключевое слово: deepseek-r1 ① – название модели. ② – укажите объем памяти, который планируете выделить под модель. Чем модель больше, тем выше качество, но и требования к видеопамяти соответственно возрастают. Для начала рекомендую попробовать версию 1.5b. ③ – после выбора модели вам будет предоставлена команда для запуска. Скопируйте ее и выполните в командной строке: ollama run deepseek-r1:1.5b
  4. При первом запуске модель начнет загрузку, после чего появится сообщение success, и вы сможете вводить запросы в интерактивном режиме.
  5. Удаление модели: Чтобы удалить установленную модель, выполните следующие действия: Просмотрите список развернутых моделей: ollama list. Выполните команду удаления: ollama rm deepseek-r1:14b. Важно: Убедитесь, что имя модели соответствует актуальной.

Использование расширения для Chrome:

Если вам привычнее работать через браузер, воспользуйтесь расширением, которое интегрируется с локальной моделью.

  1. Откройте Google Chrome и перейдите по ссылке: https://chromewebstore.google.com/detail/page-assist-%E6%9C%AC%E5%9C%B0-ai-%E6%A8%A1%E5%9E%8B%E7%9A%84-web/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=zh-CN&utm_source=ext_sidebar
  2. Убедитесь, что модель DeepSeek уже настроена через ollama.
  3. Нажмите кнопку «Добавить в Chrome».

Запуск расширения:

После установки расширение появится в списке установленных компонентов Chrome. Для его запуска:

  1. Перейдите по адресу: chrome://extensions/
  2. Используйте удобные горячие клавиши:
    • Ctrl+Shift+Y — для вызова боковой панели.
    • Ctrl+Shift+L — для открытия окна чата.

Локализация интерфейса:

  1. В настройках расширения Page Assist выберите русский язык для локализации.
  2. В окне чата выберите нужную модель (убедитесь, что модель из ollama запущена).
  3. Теперь можно отправлять запросы и работать с DeepSeek прямо из браузера.

Распространенная проблема и решение:

Проблема:
  • Error: llama runner process has terminated: error loading model: unable to allocate CUDA_Host buffer
  • Причина: Недостаточно видеопамяти на вашем устройстве.
  • Решения: Попробуйте запустить модель меньшего размера. Используйте режим CPU при запуске (скорость работы может снизиться): ollama run deepseek-r1:7b --cpu

Локальное развертывание DeepSeek с помощью ollama или расширения для Chrome — отличный способ обеспечить безопасность, гибкость и приватность работы с большой языковой моделью. Оба метода позволяют быстро настроить систему под ваши нужды без обращения к дорогостоящим API.