快科技9月10日消息,美光官方宣布,已经完成12-Hi堆栈的新一代HBM3E高带宽内存,单颗容量达36GB,比之前的8-Hi 24GB增大了足足一半。
它将用于顶尖的AI、HPC计算产品,比如NVIDIA H200、B200等加速卡,单卡就能轻松运行700亿参数的Llama2等大模型,不再需要频繁调用CPU,从而减少延迟、提高数据处理效率。
美光12-Hi 36GB HBM3E内存还有着9.2Gbps的超高速率,单颗就能提供超过1.2TB/s的惊人带宽,而且功耗比8-Hi版本更低。
台积电CoWoS封装技术制造,也就是NVIDIA H100、H200等普遍使用的技术,彼此可以轻松搭配。