https://www.zhihu.com/question/657981844
![](https://aitimes.link/wp-content/uploads/2024/06/image-3-1024x575.png)
![](https://aitimes.link/wp-content/uploads/2024/06/image-4-1024x575.png)
![](https://aitimes.link/wp-content/uploads/2024/06/image-5-1024x254.png)
![](https://aitimes.link/wp-content/uploads/2024/06/image-6-1024x575.png)
https://www.zhihu.com/question/652991138/answer/3468763309
作者:神经蛙没头脑
链接:https://www.zhihu.com/question/652991138/answer/3468763309
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
NVIDIA Blackwell 架构是NVIDIA推出的最新GPU架构,专为处理数据中心规模的生成性AI工作流程而设计,其能效是前一代NVIDIA Hopper GPU的25倍。这一架构的GPU拥有2080亿个晶体管,采用专门定制的“双倍光刻极限尺寸 4NP TSMC工艺”制造,代表了当前半导体制造中的尖端水平。
Blackwell架构的核心特点包括:
- 第二代 Transformer 引擎:这是Blackwell架构的关键特性之一,它结合了定制的Blackwell Tensor Core技术和TensorRT-LLM以及NeMo框架的创新,以加速大型语言模型(LLMs)和专家混合模型(MoE)的推理和训练。
- 新的精度格式:Blackwell Tensor Cores引入了新的精度格式,包括社区定义的微缩放格式,提供了高准确性并轻松替换更大的精度。
- 压缩引擎:Blackwell架构包括一个专用的压缩引擎,可以以高达800GB/s的速率解压缩数据,显著加速数据库查询。
- 第五代NVLink和NVLink交换机:Blackwell架构的NVLink性能是Hopper架构中第四代NVLink的两倍,每个方向的有效带宽达到50 GB/s。
- RAS引擎:Blackwell架构增加了一个专用的可靠性、可用性和可维护性(RAs)引擎,用于识别可能早期发生的故障,以最小化停机时间。
- 能效:Blackwell架构在保持高性能的同时,提供了比Hopper架构更高的能效,为数据中心规模的生成性AI工作流程提供了高达25倍的能效提升。
- 保密计算:Blackwell架构引入了首个支持TEE-I/O的GPU,提供了最高性能的保密计算解决方案,同时保护AI知识产权,并安全地启用保密AI训练、推理和联邦学习。
发表回复