今天教大家本地部署Ollama大语言模型,并接入ComfyUI中,让你的ComfyUI变得更智能。
0****1
介绍
之前ComfyUI很多插件接入LLM大模型都得单独配置,很麻烦,今天给大家介绍一个通用的插件comfyui-ollama,再结合Ollama本地安装,让你想用什么大模型都行,从此解决提示词润色问题。
今天内容比较干,主要分三块进行:
-
Ollama本地安装
-
提示词润色方案
-
图片反推提示词
02
首先登录ollama官方下载页面
https://ollama.com/download/windows
根据自己系统安装,我这里是windows
安装好后看到桌面右下角有这个羊驼图标就说明软件在运行了。
调整模型保存位置
默认的模型保存路径如下:
-
:
-
:
-
:
默认安装路径是在C盘,这样会有个问题,后面下载的模型也会自动安装到这里,就容易把C盘占满了,我们需要做一下调整,把模型保存的位置迁移到其他盘。
要修改模型保存位置的话,去环境变量里面调整。
设置变量:
路径改成你自己设置的文件目录即可,我这里设置到D盘去。
设置完成后重启下电脑生效。
下载模型
要下载模型的话,登录ollama模型网站
https://ollama.com/library
目前比较常用的大模型我推荐2个,基本满足我们使用
文本大模型:llama 3.1
图片反推用的:llava
比如我们这里要安装llama 3.1
点进来后,选择想要安装的版本,然后点击后面的复制脚本命令
这里参数很多,电脑配置一般的推荐安装4.7GB的这个8b参数即可,70b的估计电脑跑不起来。
然后打开电脑CMD命令,输入粘贴这个脚本即可安装大模型了。
window下面通过 WIN+R 打开运行窗口,输入CMD 即可打开命令窗口
输入下载命令,就会开始下载模型了。
下载好了,可以去刚才重新设置的大模型存放目录看看是否下载下来了。
ollama常见命令
ollama可以直接在CMD命令窗口下执行命令
下面是几个常用的命令
ollama list :查看安装了几个模型
ollama run:启动服务
比如我要启动我安装的llama3.1大模型,使用命令 ollama run llama3.1就行。
然后就可以发送命令了
想要退出这个大模型的话 按下 Ctrl+D即可。
其他命令就无所谓了,我们主要是要在ComfyUI里面集成使用。
节点管理器搜 comfyui-ollama 安装即可
安装上了后重启服务即可。
03
使用流程**
**
这里先介绍下 ComfyUI中ollama插件的使用
核心组件就三个,常用的就2个
文本处理用 Ollama Generate
可以看到,model这里可选项就是我们刚才在ollama那边安装的大模型
图像处理用Ollama
这里模型要记得用 llava,这个模型才能识别图片。
后面测试案例都是用Flux出图,用的是BizyAir线上的Flux,大家要想用我这套工作流测试,记得安装下BizyAir插件。
这里我介绍下ollama在提示词润色方面的写法,核心提示词来自Datou大佬的分享
完整结构如下
一共使用了3次 Ollama Generate组件
第一次是当翻译器用,把中文翻译成英文
第二次是结合一套提示词模板,让AI生成润色后的提示词,这时候的提示词我们会放入到{}中
第三次是让大模型提取{}里面的提示词给我们。
这样最终生成的就是润色后的提示词了。
上面这个案例里面输入的是:
一个忍者在赛博朋克2077中
最终给出的是:
1 ninja, [edgy cyberpunk cityscape at night], neon lights reflecting off wet pavement, sleek black ninja suit blending into shadows, high-tech gadgets and gizmos scattered around, gritty and intense atmosphere
接下来,我们来对比一下几个案例,后面是不同大模型扩写后的提示词,分别对应下面几种情况
-
原文
-
ollama大模型 llmma3.1
-
BizyAir插件的 SiliconCloud LLM API节点
-
Gemini_zho
ollama是使用我们本地安装的大模型,SiliconCloud LLM API 是使用bizyAir这个插件里面的一个润色节点,Gemini的话是使用线上的API。
一个忍者在赛博朋克2077中
皮卡丘大战喷火龙
一只老鼠戴着墨镜穿着沙滩裤,手里拿着果汁
中国龙
一个美女穿着优雅的红色礼服,火车站背景
可以看到这几组图,润色后效果最好的是 Gemini_zho、其次才是 ollama 和 BizyAir。
但是 Gemini 这个线上API调用有次数限制,经常用一会就上限了。
Gemini插件地址:
https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini
BizyAir插件的话可以看我上一篇文章
低配电脑有救了,BizyAir插件让你本地也能用上吃性能的Flux云端功能,免费使用
接下来我们也来测试下图片反推提示词效果
这里我也测试了4个插件,WD1.4效果太差了,我直接排除了。
-
CLIP询问机
-
Ollama Vision
-
BizyAir Image Caption
-
Gemini_Zho
完整工作流如下
下面是几组图片反推对比结果
有需要的朋友,可以点击下方免费领取!
AIGC所有方向的学习路线思维导图
AIGC工具库
有需要的朋友,可以点击下方卡片免费领取!
精品AIGC学习书籍手册
书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。
AI绘画视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。