推广 热搜: page  音视频  使用  个数  搜索引擎  选择  企业  父亲  百度  可以 

AI分布式训练通信优化库AIACC-ACSpeed

   日期:2024-12-31     作者:8gels    caijiyuan   评论:0    移动:http://ww.kub2b.com/mobile/news/16538.html
核心提示:覆盖范围广阔神行工具包中的组件主要包括AI加速器Deepytorch、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC
  • 覆盖范围广阔

神行工具包中的组件主要包括AI加速器Deepytorch、AI分布式训练通信优化库AIACC-ACSpeed、AI训练计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU以及GPU容器共享技术cGPU,其各自具有以下核心优势。

Deepytorch是阿里云自研的AI加速器,为生成式AI和大模型场景提供训练和推理加速功能,在训练和推理方面,具有更好的性能优势和易用性。该AI加速器包含Deepytorch Training和Deepytorch Inference两个软件包。

DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。

  • 通信优化效果显著

    支持单机优化和多机优化,相比NCCL原生在性能上提升了20%以上。

  • 无感加速

    多GPU互联通信,无感地加速分布式训练或多卡推理等任务。

DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型(Large Language Model,LLM)的推理引擎,在处理大语言模型任务中,该推理引擎可以为您提供高性能的大模型推理服务。

  • 高性能、低延迟

    支持多GPU并行(Tensor Parallel)和多卡之间的通信优化,从而提高多GPU并行计算的效率和速度。

  • 支持多种主流模型

    支持通义千问Qwen系列、Llama系列、ChatGLM系列以及Baichuan系列等主流模型,满足不同场景下的模型推理。

AIACC-ACSpeed(AIACC 2.0-AIACC Communication Speeding)作为阿里云自研的AI训练加速器,专注于分布式训练场景的通信优化功能,在训练场景下具有其显著的性能优势,提高计算效率的同时能够降低使用成本。

如果您想了解ACSpeed在训练模型时的性能优势,更多信息,请参见。

AIACC-AGSpeed(简称AGSpeed)作为阿里云自研的AI训练计算优化编译器,针对PyTorch热门框架训练场景中存在的计算瓶颈进行深度优化,具有其显著的性能优势,在提高训练效率的同时能够降低使用成本。

使用FastGPU构建人工智能计算任务时,您无需关心IaaS层的计算、存储、网络等资源部署操作,简单适配即可一键部署,帮助您节省时间成本以及经济成本。

    • 一键部署集群。无需分别进行IaaS层计算、存储、网络等资源的部署操作,将部署集群的时间缩短到5分钟。

    • 通过接口和命令行管理任务和资源,方便快捷。

    • 当数据集完成准备工作并触发训练或推理任务后,才会触发GPU实例资源的购买。当训练或推理任务结束后,将自动释放GPU实例资源。实现了资源生命周期与任务同步,帮助您节省成本。

    • 支持创建抢占式实例。

    • 所有资源均为IaaS层,可访问、可调试。

    • 满足可视化和log管理需求,保证任务可回溯。

GPU容器共享技术cGPU拥有节约成本和灵活分配资源的优势,从而实现您业务的安全隔离。

本文地址:http://ww.kub2b.com/news/16538.html     企库往 http://ww.kub2b.com/ ,  查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新文章
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新文章
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号