Комментарии пользователя Andrevs

Мои комментарии:в блогах в форуме
Ответы мне:в блогах в форуме
Все комментарии: к моим постам

Качаем, клиент тут: github.com/LostRuins/koboldcpp/releases/tag/v1.82.4
модели здесь: huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF
или здесь huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF
Объем модели (соотв.и качество ответов) подбираем по мощности железа.
У меня на 64Gb памяти модель DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf запускается, сравнительно медленно работает но терпимо, видеокарта 8Gb AMD.
Хорошо код пишет, только нудный — всё так обстоятельно рассказывает, DeepSeek этот. ))

avatar
  • 27 января 2025, 16:47
  • Еще
Выберите надежного брокера, чтобы начать зарабатывать на бирже:
....все тэги
UPDONW
Новый дизайн