9月10日,凯利安斯(Cailianshe)(编辑智申(Shi Zhengcheng))NVIDIA是世界领先的人造人工计算,周二宣布,它将推出为长篇小说设计的工作量
Cailianshe,9月10日(编辑Shi Zhengcheng)NVIDIA是世界领先的人工知识计算芯片,周二宣布,它将推出专门的GPU Rubin CPX,设计用于长篇小说工作载荷,以使当前AI操作的工作效率增加一倍。 NVIDIA首席执行官Jensen Huang表示,CPX是第一个旨在为需要处理大量知识(百万亿级代币)并执行人工推理的模型而构建的芯片。应该注意的是,鲁宾是Nvidia将于明年发布的下一代顶级计算功率芯片,因此,基于鲁宾的CPX预计将发送到2026年底。下一代NVIDIA旗舰AI Server ISNVIDIA AIR ISNVIDIA VERA VERA RUBIN NVL144 CPX -CPX -CPX -INTIBLED 36 VERA CPUS,144 RUBIS,144 RUBIN GPU。 。据报道,下一代的旗舰将提供8个Exaflops NVFP4计算能力,比该计算机高7.5倍GB300 NVL72。同时,单个机架可以提供100 TB的高速内存和1.7 pb/s的内存带宽。回到这一点,NVIDIA想要在鲁宾GPU旁边安装鲁宾CPX GPU的原因自然会显着提高计算数据中心强度的效率 - 用户可以通过购买NVIDIA芯片来赚更多的钱。 NVIDIA表示,取消价值1亿美元的新筹码将带来50亿美元的收入。为什么需要两个GPU?作为行业的第一步,NVIDIA的新产品与在硬件层面上对Katinuhan的人工了解的计算分开。 NVIDIA提出,推理过程包括两个完全不同的阶段:上下文和生成阶段,基础架构的要求基本上完全不同。计算上下文阶段,这需要高处理处理处理才能摄入和分析大量输入数据,从而形成第一个输出令牌。在另一方面,一代的阶段是带宽界定的内存,它依赖于高速存储器传输和高带宽互连(例如NVLink)来通过令牌维持输出性能。当前,顶级GPU是为内存生成和网络限制的阶段而设计的,配备了昂贵的HBM内存,但是在解码阶段不需要此内存。因此,通过分别处理这两个阶段并优化计算和内存目标来源,计算强度使用速率将大大提高。据报道,Rubin CPXITO尤其是在“百万百万个令牌”水平上长期上下文表现,其中30个PETAFLOPS NVFP4计算能力和128GB的GDDR7内存。 NVIDIA估计,大约20%的AI应用程序将“等待”第一个令牌出现。例如,解码100,000行代码可能需要5-10分钟。多帧和多秒视频,准备Rocessing和Frage-Frame嵌入将迅速增加延迟,这就是为什么当前视频模型通常仅用于制作短片的原因。 NVIDIA计划以两种形式提供鲁宾CPX,其中一种与Vera Rubin相同。对于已经下达了ISNVL144订单的用户,NVIDIA还将分别出售整个CPX芯片架,并且该数字将与Rubin架完全相同。
特别声明:上面的内容(包括照片或视频(如果有))已由“ NetEase”自助媒体平台的用户上传和发布。该平台仅提供信息存储服务。
注意:上面的内容(包括照片和视频(如果有))已由NetEase Hao用户上传和发布,该用户是社交媒体平台,仅提供信息存储服务。