尝试了一下调用、调试文心一言大模型,挺简单的。以下是从零开始的调用流程
网址:百度智能云-云智一体深入产业 (baidu.com)
进入网址后,按官网提示正常进行就行,这个应该不算难
网址:百度智能云-云智一体深入产业 (baidu.com)
进入用户中心处,找到实名认证进行认证,上传身份证信息与照片即可,其余邮箱、电话等账号绑定依据个人口味添加
在申请使用权限确认后,进入服务开通界面,点击
在创建自己的模型前要先学会调用官方的大模型
网址:百度智能云控制台 (baidu.com)
进入应用接入模块,点击创建应用
按顺序输入信息即可,这里推荐服务配置全选,如果第一次使用,应该是没有在线服务的,这点不需要担心
创建完成之后会生成AK(API Key)与SK(Secret Key),后续会使用
网址:百度智能云控制台 (baidu.com)
根据自己需求在模型广场自行选择模型即可。在本文例子中我尝试
选择模型后点击即可,进入后点击体验即可
这个时候会出现两种情况.1. 已开通付费 2.未开通付费
未开通付费
已开通后通过对话框可直接使用,未开通会受到界面提示点击开通即可
这里说明一下,不同模型收费标准不一样,根据需要购买即可
我开通的是ERNIE-Bot大模型公有云在线调用服务和ERNIE-Bot-turbo-0922大模型公有云在线调用服务和ChatGLM2-6B-32K大模型公有云训练服务-SFT-全量更新。后续如果出现对应服务未开通情况自行按需求开通即可
开通完成后
直接进行对话即可
在确定好在官网可以正常使用,即可在本地环境(安装好对应包)进行尝试
这个时候就需要两样东西:AK(API Key)与SK(Secret Key)
在官方文档中,可以使用不同语言调用不同模型
网址:API列表 - 千帆大模型平台 | 百度智能云文档 (baidu.com)
以下是python示例(作者主修python)
目前我发现用户可修改三处地方
1.AK 2.SK 3.url
AK与SK均在应用接入时生成,直接更换即可。指向用户自己,调用密钥,将“xxxx”更换为自己的AK与SK即可
url决定调用模型种类,获取方法如下
网址:百度智能云控制台 (baidu.com)
按图中顺序依次选择。在自己创建的应用最右侧点击移动端测试,选择自己要进行的服务(及大模型),之后官网会自动生成对应的API信息:二维码、请求地址、API Key、Secret Key、模型名称、应用名称。我们需要的即是请求地址,复制请求地址
在下面代码中第十行,main()第一行中的”https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/om82aolq_kubila“部分修改为自己的请求地址即可
本地调用
在本地环境进行运行即可调用,可根据需求进行修改问题与界面
修改代码
比如修改代码后在新的命令窗口或网页调用(自行修改代码即可)
准备与修改内容同上
错误码
如果请求错误,服务器返回的JSON文本包含以下参数。
例如Access Token失效返回以下内容,需要重新获取新的Access Token再次请求。
千帆大模型平台相关错误码,请查看错误码说明。
网址:百度智能云控制台 (baidu.com)
网址:百度智能云控制台 (baidu.com)
在微调大模型前需要准备好自己的数据集json文件、txt文件、csv文件、xlsx文件、压缩包文件(本文已json文件为例
进入网址后,点击图中创建数据集按钮
构建方式、数据标注状态、导入方式、导入格式后直接上传即可,这里采取有标注信息的json文件采取本地导入的方式。
json文件格式数据要求如下
1. 文件内单条数据格式要求为[{"prompt" : "prompt内容", "response": [["response内容"]]}], 下载数据样例。
2. 每一行表示一组数据,每组数据中的prompt和response加起来之和字符数不超过32000Token(包括中英文、数字、符号等),超出部分将被截断。
3. 支持文本文件类型为jsonl,编码仅支持UTF-8,单次上传限制100个文本文件,单个文件不超过100M
按照上述方式上传后,等待一分钟左右数据导入完成。如若无需修改,选择发布即可,发布完成后,数据集上传已完成,进入下一步模型训练。
网址:百度智能云控制台 (baidu.com)
导入数据及后开始将新数据进行模型训练,按下图选择任务名称、任务类型任务描述、选择基础模型、模型版本(这里模型要选择自己开通过的,否则要从新开通)
训练配置可选择增量训练(仅支持选择2023年9月22日后训练的模型。同时由于大模型权重占用较大存储,只能选择三个月内训练的模型发起增量训练),
训练方法分为两种:1.全量更新(全量更新在训练过程中对大模型的全部参数进行更新)2.
LoRA(LoRA在固定预训练大模型本身的参数的基础上,在保留自注意力模块中原始权重矩阵的基础上,对权重矩阵进行低秩分解,训练过程中只更新低秩部分的参数。)建议选择LoRA)
其余数据配置按需要选择,数据集这是可选择第一步构造的“我的数据集”,选择完之后进行付费训练即可。这里注意是否开通对应服务,若未开通,在确定按钮右侧选择“前往开通“即可。
点击确定并付费后会进行训练,这里时间可能会较长,训练完成后即可进入下一步
等待模型训练完成后,将模型发布,即可开启大模型服务
创建的大模型可在我的模型处查看并编辑
网址:百度智能云控制台 (baidu.com)
在模型创建并发布成功后,即可开启大模型服务
网址:百度智能云控制台 (baidu.com)
进入在线服务界面选择我的服务后点击创建服务即可
进入创建界面后,1.输入服务名称(任意、支持中文、英文、数字、中划线(-)、下划线(_),1-20个字符以内),2.选择模型,3.这里选择我的模型,在这里会看到我们上一步发布的模型,4.输入API地址(这里按格式要求命名即可),5.选择资源池,这里选择私人资源池,6.随后选择开通的时间(这里我感觉这个消费还是比较贵的,哎),可以选的对应天数与小时,最低一个小时,我这里28元。7.点击确定后付费即可(注册时的20元代金卷可以使用)
模型服务发布需要等待几分钟
点击服务详情后复制标注出的服务地址,下一步会使用。
到这里模型已经发布
这里直接参考上述本地代码调用即可
在下面代码中第十行,main()第一行中的”https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/om82aolq_kubila“部分修改为自己的请求地址即可(及上一步复制信息)
在调用前要保证应用接入AK与SK的服务要包含自己新开通的服务即可调用
代码展示
作者新尝试调用大模型,如有错误拜托大家及时联系,希望能帮到大家