覆盖范围广阔
神行工具包中的组件主要包括AI加速器Deepytorch、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU,其各自具有以下核心优势。
Deepytorch是阿里云自研的AI加速器,为生成式AI和大模型场景提供训练和推理加速功能,在训练和推理方面,具有更好的性能优势和易用性。该AI加速器包含Deepytorch Training和Deepytorch Inference两个软件包。
DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。
通信优化效果显著
支持单机优化和多机优化,相比NCCL原生在性能上提升了20%以上。
无感加速
多GPU互联通信,无感地加速分布式训练或多卡推理等任务。
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型(Large Language Model,LLM)的推理引擎,在处理大语言模型任务中,该推理引擎可以为您提供高性能的大模型推理服务。
高性能、低延迟
支持多GPU并行(Tensor Parallel)和多卡之间的通信优化,从而提高多GPU并行计算的效率和速度。
支持多种主流模型
支持通义千问Qwen系列、Llama系列、ChatGLM系列以及Baichuan系列等主流模型,满足不同场景下的模型推理。
AIACC-ACSpeed(AIACC 2.0-AIACC Communication Speeding)作为阿里云自研的AI训练加速器,专注于分布式训练场景的通信优化功能,在训练场景下具有其显著的性能优势,提高计算效率的同时能够降低使用成本。
如果您想了解ACSpeed在训练模型时的性能优势,更多信息,请参见。
AIACC-AGSpeed(简称AGSpeed)作为阿里云自研的AI训练计算优化编译器,针对PyTorch热门框架训练场景中存在的计算瓶颈进行深度优化,具有其显著的性能优势,在提高训练效率的同时能够降低使用成本。
使用FastGPU构建人工智能计算任务时,您无需关心IaaS层的计算、存储、网络等资源部署操作,简单适配即可一键部署,帮助您节省时间成本以及经济成本。
一键部署集群。无需分别进行IaaS层计算、存储、网络等资源的部署操作,将部署集群的时间缩短到5分钟。
通过接口和命令行管理任务和资源,方便快捷。
当数据集完成准备工作并触发训练或推理任务后,才会触发GPU实例资源的购买。当训练或推理任务结束后,将自动释放GPU实例资源。实现了资源生命周期与任务同步,帮助您节省成本。
支持创建抢占式实例。
所有资源均为IaaS层,可访问、可调试。
满足可视化和log管理需求,保证任务可回溯。
GPU容器共享技术cGPU拥有节约成本和灵活分配资源的优势,从而实现您业务的安全隔离。