定制加工
ComfyUI中使用大语言模型Ollama给提示词润色,解决词穷问题
2025-01-01 15:09

今天教大家本地部署Ollama大语言模型,并接入ComfyUI中,让你的ComfyUI变得更智能。

0****1

介绍

之前ComfyUI很多插件接入LLM大模型都得单独配置,很麻烦,今天给大家介绍一个通用的插件comfyui-ollama,再结合Ollama本地安装,让你想用什么大模型都行,从此解决提示词润色问题。

今天内容比较干,主要分三块进行

  • Ollama本地安装

  • 提示词润色方案

  • 图片反推提示词

02

首先登录ollama官方下载页面

https://ollama.com/download/windows

根据自己系统安装,我这里是windows

安装好后看到桌面右下角有这个羊驼图标就说明软件在运行了。

调整模型保存位置

默认的模型保存路径如下:

  • :

  • :

  • :

默认安装路径是在C盘,这样会有个问题,后面下载的模型也会自动安装到这里,就容易把C盘占满了,我们需要做一下调整,把模型保存的位置迁移到其他盘。

要修改模型保存位置的话,去环境变量里面调整。

设置变量

路径改成你自己设置的文件目录即可,我这里设置到D盘去。

设置完成后重启下电脑生效。

下载模型

要下载模型的话,登录ollama模型网站

https://ollama.com/library

目前比较常用的大模型我推荐2个,基本满足我们使用
文本大模型:llama 3.1

图片反推用的:llava

比如我们这里要安装llama 3.1

点进来后,选择想要安装的版本,然后点击后面的复制脚本命令

这里参数很多,电脑配置一般的推荐安装4.7GB的这个8b参数即可,70b的估计电脑跑不起来。

然后打开电脑CMD命令,输入粘贴这个脚本即可安装大模型了。

window下面通过 WIN+R 打开运行窗口,输入CMD 即可打开命令窗口

输入下载命令,就会开始下载模型了。

下载好了,可以去刚才重新设置的大模型存放目录看看是否下载下来了。

ollama常见命令

ollama可以直接在CMD命令窗口下执行命令

下面是几个常用的命令

ollama list :查看安装了几个模型

ollama run:启动服务

比如我要启动我安装的llama3.1大模型,使用命令 ollama run llama3.1就行。

然后就可以发送命令了

想要退出这个大模型的话 按下 Ctrl+D即可。

其他命令就无所谓了,我们主要是要在ComfyUI里面集成使用。

节点管理器搜 comfyui-ollama 安装即可

安装上了后重启服务即可。

03

使用流程**
**

这里先介绍下 ComfyUI中ollama插件的使用

核心组件就三个,常用的就2个

文本处理用 Ollama Generate

可以看到,model这里可选项就是我们刚才在ollama那边安装的大模型

图像处理用Ollama

这里模型要记得用 llava,这个模型才能识别图片。

后面测试案例都是用Flux出图,用的是BizyAir线上的Flux,大家要想用我这套工作流测试,记得安装下BizyAir插件。

这里我介绍下ollama在提示词润色方面的写法,核心提示词来自Datou大佬的分享

完整结构如下

一共使用了3次 Ollama Generate组件

第一次是当翻译器用,把中文翻译成英文

第二次是结合一套提示词模板,让AI生成润色后的提示词,这时候的提示词我们会放入到{}中

第三次是让大模型提取{}里面的提示词给我们。

这样最终生成的就是润色后的提示词了。

上面这个案例里面输入的是

一个忍者在赛博朋克2077中‍

最终给出的是

1 ninja, [edgy cyberpunk cityscape at night], neon lights reflecting off wet pavement, sleek black ninja suit blending into shadows, high-tech gadgets and gizmos scattered around, gritty and intense atmosphere

接下来,我们来对比一下几个案例,后面是不同大模型扩写后的提示词,分别对应下面几种情况

  • 原文

  • ollama大模型 llmma3.1

  • BizyAir插件的 SiliconCloud LLM API节点

  • Gemini_zho

ollama是使用我们本地安装的大模型,SiliconCloud LLM API 是使用bizyAir这个插件里面的一个润色节点,Gemini的话是使用线上的API。

一个忍者在赛博朋克2077中

皮卡丘大战喷火龙

一只老鼠戴着墨镜穿着沙滩裤,手里拿着果汁

中国龙

一个美女穿着优雅的红色礼服,火车站背景

可以看到这几组图,润色后效果最好的是 Gemini_zho、其次才是 ollamaBizyAir

但是 Gemini 这个线上API调用有次数限制,经常用一会就上限了。

Gemini插件地址

https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini

BizyAir插件的话可以看我上一篇文章

低配电脑有救了,BizyAir插件让你本地也能用上吃性能的Flux云端功能,免费使用

接下来我们也来测试下图片反推提示词效果

这里我也测试了4个插件,WD1.4效果太差了,我直接排除了。

  • CLIP询问机

  • Ollama Vision

  • BizyAir Image Caption

  • Gemini_Zho

完整工作流如下

下面是几组图片反推对比结果

有需要的朋友,可以点击下方免费领取

AIGC所有方向的学习路线思维导图

AIGC工具库

有需要的朋友,可以点击下方卡片免费领取

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

    以上就是本篇文章【ComfyUI中使用大语言模型Ollama给提示词润色,解决词穷问题】的全部内容了,欢迎阅览 ! 文章地址:http://ww.kub2b.com/news/18116.html
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站 http://ww.kub2b.com/mobile/ , 查看更多   
最新文章
光威复材2024年下降逾15%,连续两年发生下滑
3月31日晚,(300699.SZ)发布2024年财报,实现营收24.5亿元,同比下降2.69%;归母净利润7.41亿元,同比下降15.12%;扣非净利润6.6
看完超人气游戏改编的《我的世界大电影》,我整个人都方了
观影《我的世界大电影》,感觉自己真的方了。毕竟,已经领略过风靡全球的沙盒游戏《我的世界》中那方块的世界,还有游戏带给人的
手机大脑手机阅读「手机大脑」
为什么只要醒着我们就离不开手机,为什么疫情中的我们更容易自投罗网?为什么比尔·盖茨不让小孩用手机,乔布斯不让孩子碰iPad?
远洋集团(03377):拟3.22亿元出售北京盛永置业投资23%股权
智通财经APP讯,远洋集团(03377)发布公告,于2025年4月11日,卖方(公司全资附属公司北京银港房地产开发有限公司)拟向买方(日照钢
600375,停牌,退市风险解除!
*ST汉马(600375)即将去星摘帽。4月16日晚间,该公司公告,公司股票将于2025年4月17日(星期四)开市起停牌一天,并于2025年4月
300万像素手写滑盖三星G618行货大跌530三星滑盖手机「300万像素手写滑盖三星G618行货大跌530」
  【7月15日太平洋电脑网上海站】今天,三星奥运手机G618行货从2288元跌至新低1758元。530元的降幅对于这款三星众多奥运手机中
最新手机续航TOP10排行榜:小米14垫底,Mate60和iPhone15落榜,第一名让人很意外手机续航排行「最新手机续航TOP10排行榜:小米14垫底,Mate60和iPhone15落榜,第一名让人
随着科技的进步,手机已经成为了我们生活中不可或缺的一部分。而手机续航能力也成为用户选择新机的重要考量因素之一。特别是对于
“好房子”新规激发楼市活力 北京3月新旧房成交量齐增
每经记者:陈梦妤    每经编辑:魏文艺“今年第一季度,我们所有项目均超额完成销售任务,完成率均达100%以上。这一成绩主要
智能手机:重塑现代人生活方式的双刃剑现代手机「智能手机:重塑现代人生活方式的双刃剑」
随着科技的飞速发展,智能手机已经成为现代人生活中不可或缺的一部分。它为我们带来了便捷的信息获取、高效的社交方式以及
10块钱的VR跟7000元的到底有啥区别?部手机「10块钱的VR跟7000元的到底有啥区别?」
步入VR元年,VR的关注度甚至乎呈直线上升,但是还有很多VR小白根本不知道VR为何物。VR频道特设《小白玩VR》系列文章,没看过的,