推广 热搜: page  音视频  使用  个数  选择  搜索引擎  父亲  百度  企业  可以 

ComfyUI中使用大语言模型Ollama给提示词润色,解决词穷问题

   日期:2025-01-01     作者:caijiyuan    caijiyuan   评论:0    移动:http://ww.kub2b.com/mobile/news/18116.html
核心提示:今天教大家本地部署Ollama大语言模型,并接入ComfyUI中,让你的ComfyUI变得更智能。 0****1 介绍 之前ComfyUI很多插

今天教大家本地部署Ollama大语言模型,并接入ComfyUI中,让你的ComfyUI变得更智能。

0****1

介绍

之前ComfyUI很多插件接入LLM大模型都得单独配置,很麻烦,今天给大家介绍一个通用的插件comfyui-ollama,再结合Ollama本地安装,让你想用什么大模型都行,从此解决提示词润色问题。

今天内容比较干,主要分三块进行

  • Ollama本地安装

  • 提示词润色方案

  • 图片反推提示词

02

首先登录ollama官方下载页面

https://ollama.com/download/windows

根据自己系统安装,我这里是windows

安装好后看到桌面右下角有这个羊驼图标就说明软件在运行了。

调整模型保存位置

默认的模型保存路径如下:

  • :

  • :

  • :

默认安装路径是在C盘,这样会有个问题,后面下载的模型也会自动安装到这里,就容易把C盘占满了,我们需要做一下调整,把模型保存的位置迁移到其他盘。

要修改模型保存位置的话,去环境变量里面调整。

设置变量

路径改成你自己设置的文件目录即可,我这里设置到D盘去。

设置完成后重启下电脑生效。

下载模型

要下载模型的话,登录ollama模型网站

https://ollama.com/library

目前比较常用的大模型我推荐2个,基本满足我们使用
文本大模型:llama 3.1

图片反推用的:llava

比如我们这里要安装llama 3.1

点进来后,选择想要安装的版本,然后点击后面的复制脚本命令

这里参数很多,电脑配置一般的推荐安装4.7GB的这个8b参数即可,70b的估计电脑跑不起来。

然后打开电脑CMD命令,输入粘贴这个脚本即可安装大模型了。

window下面通过 WIN+R 打开运行窗口,输入CMD 即可打开命令窗口

输入下载命令,就会开始下载模型了。

下载好了,可以去刚才重新设置的大模型存放目录看看是否下载下来了。

ollama常见命令

ollama可以直接在CMD命令窗口下执行命令

下面是几个常用的命令

ollama list :查看安装了几个模型

ollama run:启动服务

比如我要启动我安装的llama3.1大模型,使用命令 ollama run llama3.1就行。

然后就可以发送命令了

想要退出这个大模型的话 按下 Ctrl+D即可。

其他命令就无所谓了,我们主要是要在ComfyUI里面集成使用。

节点管理器搜 comfyui-ollama 安装即可

安装上了后重启服务即可。

03

使用流程**
**

这里先介绍下 ComfyUI中ollama插件的使用

核心组件就三个,常用的就2个

文本处理用 Ollama Generate

可以看到,model这里可选项就是我们刚才在ollama那边安装的大模型

图像处理用Ollama

这里模型要记得用 llava,这个模型才能识别图片。

后面测试案例都是用Flux出图,用的是BizyAir线上的Flux,大家要想用我这套工作流测试,记得安装下BizyAir插件。

这里我介绍下ollama在提示词润色方面的写法,核心提示词来自Datou大佬的分享

完整结构如下

一共使用了3次 Ollama Generate组件

第一次是当翻译器用,把中文翻译成英文

第二次是结合一套提示词模板,让AI生成润色后的提示词,这时候的提示词我们会放入到{}中

第三次是让大模型提取{}里面的提示词给我们。

这样最终生成的就是润色后的提示词了。

上面这个案例里面输入的是

一个忍者在赛博朋克2077中‍

最终给出的是

1 ninja, [edgy cyberpunk cityscape at night], neon lights reflecting off wet pavement, sleek black ninja suit blending into shadows, high-tech gadgets and gizmos scattered around, gritty and intense atmosphere

接下来,我们来对比一下几个案例,后面是不同大模型扩写后的提示词,分别对应下面几种情况

  • 原文

  • ollama大模型 llmma3.1

  • BizyAir插件的 SiliconCloud LLM API节点

  • Gemini_zho

ollama是使用我们本地安装的大模型,SiliconCloud LLM API 是使用bizyAir这个插件里面的一个润色节点,Gemini的话是使用线上的API。

一个忍者在赛博朋克2077中

皮卡丘大战喷火龙

一只老鼠戴着墨镜穿着沙滩裤,手里拿着果汁

中国龙

一个美女穿着优雅的红色礼服,火车站背景

可以看到这几组图,润色后效果最好的是 Gemini_zho、其次才是 ollamaBizyAir

但是 Gemini 这个线上API调用有次数限制,经常用一会就上限了。

Gemini插件地址

https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini

BizyAir插件的话可以看我上一篇文章

低配电脑有救了,BizyAir插件让你本地也能用上吃性能的Flux云端功能,免费使用

接下来我们也来测试下图片反推提示词效果

这里我也测试了4个插件,WD1.4效果太差了,我直接排除了。

  • CLIP询问机

  • Ollama Vision

  • BizyAir Image Caption

  • Gemini_Zho

完整工作流如下

下面是几组图片反推对比结果

有需要的朋友,可以点击下方免费领取

AIGC所有方向的学习路线思维导图

AIGC工具库

有需要的朋友,可以点击下方卡片免费领取

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

本文地址:http://ww.kub2b.com/news/18116.html     企库往 http://ww.kub2b.com/ ,  查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新文章
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新文章
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号