华为DeepSeek系列模型登陆昇腾社区,一键获取体验AI新高度!

   时间:2025-02-05 18:59 来源:ITBEAR作者:沈瑾瑜

华为近日宣布,其DeepSeek系列中的DeepSeek-R1、DeepSeek-V3、DeepSeek-V2以及Janus-Pro四款模型已正式入驻昇腾社区。这一举措意味着用户现在可以一键获取这些先进的模型,并在昇腾硬件平台上实现开箱即用的便捷体验。

据悉,DeepSeek-V3模型的首个版本于去年成功上线并同步开源。作为一款自研的MoE模型,它拥有高达671B的参数,并在14.8T的token数据上进行了预训练,其中37B参数被激活。这一强大的模型在多项评测中展现出了卓越的性能,超越了Qwen2.5-72B和Llama-3.1-405B等其他知名的开源模型。

更DeepSeek-V3在性能上与世界顶尖的闭源模型,如GPT-4o和Claude-3.5-Sonnet,也毫不逊色。这一表现无疑为DeepSeek系列模型赢得了广泛的关注和赞誉。

为了帮助用户更好地在昇腾社区获取和使用DeepSeek-V3模型,以下将详细介绍其操作步骤:

首先,用户需要满足一定的硬件要求。为了成功部署DeepSeek-V3模型,建议配置4台Atlas 800I A2(8*64G)服务器资源。

接下来是模型调用的实践环节。用户需要进行权重转换,这一步骤根据所使用的硬件(GPU或NPU)而有所不同。然后,用户需要在昇腾社区的开发资源中下载适配DeepSeek-V3的镜像包,具体为mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64。下载完成后,使用docker images命令确认查找具体镜像名称与标签。

最后,进行服务化测试。用户需要配置服务化环境变量,并启用内存池扩展段功能(即虚拟内存特性)。然后修改服务化参数并拉起服务化。当控制台显示“Daemon start success!”时,即表示服务已成功启动。

 
 
更多>同类内容
全站最新
热门内容