Nikola100
Unbeatable
Го користам како локален chatGPT и доста е брз. Ама тотален нуб сум.
Некој со искуство ? Трикче некое за оптимизација ? Кој модел е добар ? Јас TheBloke/Llama-2-7B-Chat-GGUF го користам .
Само да споделам кој не знае дека може и со АМД картичка и то ...
Со Vulkan ,
Брзина - негде од 20-40 токени во секунда
Кој сака да симне да проба LM Studio - Experiment with local LLMs
Инаку иако викаа дека само со 7000 серија АМД функционира - работи и со 6000 серија а богами и Интел .
Последна промена: