AI分布式训练通信优化库AIACC-ACSpeed

AI分布式训练通信优化库AIACC-ACSpeed

2024-12-31 00:55

神行工具包中的组件主要包括AI加速器Deepytorch、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU，其各自具有以下核心优势。

Deepytorch是阿里云自研的AI加速器，为生成式AI和大模型场景提供训练和推理加速功能，在训练和推理方面，具有更好的性能优势和易用性。该AI加速器包含Deepytorch Training和Deepytorch Inference两个软件包。

DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库，在AI分布式训练或多卡推理任务中用于提升通信效率。

DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）的推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。

AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）作为阿里云自研的AI训练加速器，专注于分布式训练场景的通信优化功能，在训练场景下具有其显著的性能优势，提高计算效率的同时能够降低使用成本。

如果您想了解ACSpeed在训练模型时的性能优势，更多信息，请参见。

AIACC-AGSpeed（简称AGSpeed）作为阿里云自研的AI训练计算优化编译器，针对PyTorch热门框架训练场景中存在的计算瓶颈进行深度优化，具有其显著的性能优势，在提高训练效率的同时能够降低使用成本。

使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署操作，简单适配即可一键部署，帮助您节省时间成本以及经济成本。

- 一键部署集群。无需分别进行IaaS层计算、存储、网络等资源的部署操作，将部署集群的时间缩短到5分钟。
- 通过接口和命令行管理任务和资源，方便快捷。
- 当数据集完成准备工作并触发训练或推理任务后，才会触发GPU实例资源的购买。当训练或推理任务结束后，将自动释放GPU实例资源。实现了资源生命周期与任务同步，帮助您节省成本。
- 支持创建抢占式实例。
- 所有资源均为IaaS层，可访问、可调试。
- 满足可视化和log管理需求，保证任务可回溯。

GPU容器共享技术cGPU拥有节约成本和灵活分配资源的优势，从而实现您业务的安全隔离。