安装ollama
首先安装ollama,官网直接下!官方传送门:https://ollama.com/
下载模型
然后咱就是可以用qwen 32b这个蒸馏模型,q4量化版本大概占用18G显存,
输入:
ollama run deepseek-r1:32b
等待漫长的下载⌛️
UI页面
接下来呢如果想要个美观的UI界面,可以用LM Studio来加载Ollama已经下载好的模型
可以使用GitHub上的“ollama-lmstudio-bridge”来创建symbolic link,接下来在lmstudio里选择这个模型公有文件夹就行啦!这样可以不重复下载模型占用空间哦!😏
在我的M3 Max 64G MacBook Pro上,大概可以10-15 token/s,速度还是蛮快的,而且还嘎嘎聪明大概o1 mini智商你学废了吗?