前面介绍了。有些场景，用户可能无法通过往外网访问OpenAI等云端LLM服务，或者由于数据隐私等安全问题，需要本地部署大模型。本文将介绍通过和搭建智能客服。
在介绍RAG-GPT项目之前，我们首先要理解RAG的基本原理，RAG在问答系统中的一个典型应用主要包括三个模块，分别是：
智能文档的在线检索流程可以用一张图说明，上图中展示了一个完整的问答流程：
以上是对RAG技术的基本介绍，如果想深入了解技术细节可以参考这篇文章：。
从RAG的原理介绍中可以看到要实现RAG整套架构还是存在一定工作量，需要构建索引、检索、集成LLM、prompt优化等一系列模块，具有一定的难度。
基于此，RAG-GPT提供了一整套开源解决方案，旨在利用LLM和RAG技术快速搭建一个全功能的客服解决方案。该项目基于Flask框架，包括前端用户界面、后端服务和管理员控制台，为企业利用LLM搭建智能客服等对话场景提供了一个完整的自动化解决方案，可以帮助开发者快速搭建一个智能问答系统，且代码完全开源。 项目地址：
RAG-GPT的基本架构
RAG-GPT关键特性：
从特性可以知道，RAG相比一些商业收费的基于知识库的问答系统优势在于：
RAG-GPT 快速搭建智能问答系统
RAG-GPT的基本组成分为三部分： - 智能问答后端服务 - 管理后台系统 - 用户使用的ChatBot UI。
下面，将介绍如何启动RAG-GPT项目和使用这三个模块，将RAG-GPT集成到你的网站只需要5个步骤：
1. 下载源代码，通过Git克隆RAG-GPT的GitHub仓库：
2.配置环境变量
[!NOTE] 我们首先需要下载&安装。 然后下载和。
Ollama启动默认绑定的是，可以参考这篇修改默认配置。
Embedding模型我们选择
LLM底座模型我们选择
通过 ollama list 命令，可以看到下载的模型列表信息。
在启动RAG-GPT服务之前，需要修改相关配置，以便程序正确初始化。
.env 文件中的变量
对 .env 中的变量做以下调整：
3.执行启动命令
分别执行以下命令，即可启动。
[!NOTE] 请使用 Python 3.10.x 或以上版本。
先安装python依赖项
启动项目即可：
或者执行
4.快速体验聊天效果
首先要登录到管理后台，浏览器输入： 登录账号为： 密码 ： .
在管理后台切换到 tab，从本地磁盘上传， 然后点击 即可一键上传本地文档作为知识库。
上传本地文档到服务端后，初始状态是 。 服务端会通过一个异步任务解析上传的文档，并且计算Embedding，然后存入向量数据库。
服务端处理完后，可以看到上传文档的日志。
在admin页面，在管理后台上，上传文档展示的状态都是 。
浏览器打开，就可以访问Bot了。
5.一键嵌入到网站
RAG-GPT提供了将聊天机器人嵌入到网站的方法，使得用户可以直接在网站上使用智能问答服务。 打开管理后台菜单切换到embed，复制两个代码即可实现一键嵌入，这两个代码片效果分别如下：一个是iframe嵌入一个聊天窗口，一个是在页面右下角点击弹出聊天窗口。 可以新建一个文本文件，将代码复制进去，用浏览器打开就可以看到嵌入效果了。
6.管理后台其他功能
可以按照时间、用户查询聊天记录和修改问答对的答案以更符合自身需求。
用户可以定制化聊天对话框的风格，使其更符合自身网站的风格特性。
结语
RAG-GPT项目具备开源免费、易于部署集成、开箱即用和功能丰富的特点，为LLM大模型在特定领域的应用落地提供了一套企业级的解决方案。RAG-GPT已经支持本地文件知识库，集成国内LLM大模型等特性，使得RAG-GPT满足更多样化的需求。
关于我们
OpenIM是领先的开源即时通讯（IM）平台，目前在GitHub上的星标已超过13k。随着数据和隐私安全的重视以及信息技术的快速发展，政府和企业对于私有部署的IM需求急剧增长。OpenIM凭借“安全可控”的特点，在协同办公软件市场中占据了一席之地。在后AIGC时代，IM作为人机交互的首要接口，其价值愈发重要，OpenIM期待在此时代扮演更关键的角色。
基于这样的视角，我们最近开源了RAG-GPT项目，已被部分企业采用并持续完善中。 如果您对RAG-GPT感兴趣，可以访问以下链接了解更多信息：
项目地址：
在线Demo：
我们的目标是改进文件管理功能，更有效地管理数据，并整合企业级知识库。欢迎大家在GitHub上Star并关注，支持我们的开源旅程。