一、AI生图难点
AI生图模型获得图片生成能力主要是通过学习图片描述以及图片特征,尝试将这两者进行——对应,存储在自己的记忆里。在我们需要的时候,通过输入的文字,复现出来对应的图片特征,从而生成了我们需要的图片。
由于每个模型用于训练的数据是有限的且不一定相同的,它们能匹配的描述和特征也是有限的,所以在风格、具体事物上,不同的模型会有很大的生成差异,且可能存在诸多与现实不符的情况。
怎样去掉AI味?
AI味:AI生成的图片和实际生活场景/艺术家创作的绘画/摄影/三维作品相比,存在强烈的违和感,或是细节处理,或是画面逻辑性存在问题,一言就能被看出是“AI出品”
二、借助大语言模型
本次学习介绍了通义千问大语言模型
对已知代码从以下两个角度分析:
1、分析代码主要架构
2、逐行代码解析
借助ai准备文生图的数据,在此基础上打磨提示词,高效方便。之前用讯飞、GPT4.0mini,这次发现通义的结果跑出来的图更理想些。
三、Scepter万能图片编辑生成工作台
SCEPTER是一个开源代码存储库,专门用于生成训练、微调和推理,包括一套下游任务,如图像生成、传输、编辑。scepter集成了当前流行的社区驱动实现以及阿里巴巴集团统一实验室的专有方法,为AIGC领域的研究人员和从业者提供了一个全面的工具包。该多功能库旨在促进创新并加速快速发展的生成模型领域的发展。
核心组件:
1、生成训练和推理框架
2、轻松实施流行方法
3、交互式用户界面:SCEPTER Studio
平台上可以通过尝试多种model、微调模型、可控生成等手段将图片打磨的更理想。
一些尝试
SD_XL1.0_DiffusionUNetXL和SD1.5_DiffusionUNet的区别:
a young girl in a dark robe, upper body, sitting in a stone classroom, staring at a portrait of a philosopher in front of her, quill in hand, open parchment in front of her
感想
通过各种手段不断打磨图片的过程很有趣,期待后续有更理想的效果