Комментарии пользователя Andrevs
Качаем, клиент тут: github.com/LostRuins/koboldcpp/releases/tag/v1.82.4
модели здесь: huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF
или здесь huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF
Объем модели (соотв.и качество ответов) подбираем по мощности железа.
У меня на 64Gb памяти модель DeepSeek-R1-Distill-Qwen-32B-Q8_0.gguf запускается, сравнительно медленно работает но терпимо, видеокарта 8Gb AMD.
Хорошо код пишет, только нудный — всё так обстоятельно рассказывает, DeepSeek этот. ))