过支持行业标准 API 简化了
Posted: Sat Mar 01, 2025 6:48 am
R1 在需要逻辑推理、推理、数学、编码和语言理解的任务中提供了领先的准确性，同时还提供了高推理效率。 为了帮助开发人员安全地试验这些功能并构建自己的专用代理，6710 亿参数的 DeepSeek-R1 模型现已作为 NVIDIA NIM 微服务在上提供。DeepSeek-R1 NIM 微服务可以在单个 NVIDIA HGX H200 系统上每秒提供多达 3,872 个令牌。 开发人员可以使用应用程序编程接口 (API) 进行测试和试验，该接口预计很快将作为可下载的 NIM 微服务提供，是NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM 微服务通部署。企业可以通过在其首选的加 科特迪瓦 手机号码 速计算基础设施上运行 NIM 微服务来最大限度地提高安全性和数据隐私。通过使用NVIDIA AI Foundry和NVIDIA NeMo软件，企业还可以为专门的 AI 代理创建定制的 DeepSeek-R1 NIM 微服务。 DeepSeek-R1 — 测试时间扩展的完美示例 DeepSeek-R1 是一个大型混合专家 (MoE) 模型。它包含了令人印象深刻的 6710 亿个参数——比许多其他流行的开源 LLM 多 10 倍——支持 128,000 个 token 的大输入上下文长度。
该模型还在每个层中使用了极多的专家。R1 的每个层都有 256 位专家，每个 token 并行路由到八个不同的专家进行评估。 为 R1 提供实时答案需要许多具有高计算性能的 GPU，并通过高带宽和低延迟通信进行连接，以将提示令牌路由给所有专家进行推理。结合 NVIDIA NIM 微服务中提供的软件优化，一台使用 NVLink 和 NVLink Switch 连接的带有八个 H200 GPU 的服务器可以以每秒高达 3,872 个令牌的速度运行完整的 6710 亿参数 DeepSeek-R1 模型。
DeepSeek-R1 NIM 微服务通部署。企业可以通过在其首选的加 科特迪瓦 手机号码 速计算基础设施上运行 NIM 微服务来最大限度地提高安全性和数据隐私。通过使用NVIDIA AI Foundry和NVIDIA NeMo软件，企业还可以为专门的 AI 代理创建定制的 DeepSeek-R1 NIM 微服务。 DeepSeek-R1 — 测试时间扩展的完美示例 DeepSeek-R1 是一个大型混合专家 (MoE) 模型。它包含了令人印象深刻的 6710 亿个参数——比许多其他流行的开源 LLM 多 10 倍——支持 128,000 个 token 的大输入上下文长度。
该模型还在每个层中使用了极多的专家。R1 的每个层都有 256 位专家，每个 token 并行路由到八个不同的专家进行评估。 为 R1 提供实时答案需要许多具有高计算性能的 GPU，并通过高带宽和低延迟通信进行连接，以将提示令牌路由给所有专家进行推理。结合 NVIDIA NIM 微服务中提供的软件优化，一台使用 NVLink 和 NVLink Switch 连接的带有八个 H200 GPU 的服务器可以以每秒高达 3,872 个令牌的速度运行完整的 6710 亿参数 DeepSeek-R1 模型。