杨澜访谈录

英伟达高管称Groq机架已全面量产 AI推理“低延迟”大战升温_我的网站

一 |     　　英伟达高管最新宣布，Groq 3 LPX机架已进入全面量产阶段，这标志着该公司史上最大规模收购案所获得的技术正式实现商业化。    截至昨天，杭州口岸2026暑运出入境客流量已突破300万人次，虽然口岸流量同比基本持平，但客流结构发生了较大变化：入境外籍旅客超27万人次，同比增长超12％；免签入境外籍旅客超16万人次，同比增长超20％；入境外籍旅客主要来自韩国、越南、新加坡、马来西亚等。　　当地时间周一（8月24日），英伟达高级总监Dion Harris表示，Groq机架将与Vera中央处理器和Rubin图形处理器一同部署在新型云服务商Nebius的数据中心，并将于今年晚些时候上线。　　英伟达加速生产Groq芯片并向客户提供产品，凸显出低延迟推理的重要性日益提升。低延迟推理能够让AI智能体更快响应，避免用户长时间等待，在编程等应用中尤其重要。这是记者昨天从杭州出入境管理部门获悉的。客流结构变化，与今年暑期航线的扩容不无关系。　　Harris说道，云服务商可以针对这类token（词元）收取更高费用，“对于那些提供token服务的企业而言，这让他们能够为那些对延迟极其敏感的用户和客户提供高级服务套餐。”　　去年12月，英伟达与Groq达成200亿美元交易，获得了Groq的芯片技术授权，多位核心员工也加入了英伟达，创始人Jonathan Ross更是担任了英伟达首席软件架构师。

二 | 　　今年3月，英伟达发布了为Vera Rubin平台研发的推理加速器Groq 3 LPX。Groq架构在芯片裸片上集成了500兆字节的高速静态随机存储器（SRAM），以减少与内存相关的瓶颈。

三 | 今年暑期，杭州机场新增釜山、胡志明市等热门国际航线，加密往返韩国、泰国、中国香港等航线。

四 | 而在暑运模式开启以后，出入境客流更是明显增大。

五 | 据杭州边检站统计，7月1日暑运开始至今，杭州口岸已运送出入境旅客超58万人次，7月环比增长超12％，入境外籍旅客超4.5万人次，同比增长超12％，享受单方面免签、互免签证及过境免签政策入境的外籍旅客超2.1万人次，占入境外籍旅客总量近五成。出境亲子游、研学团成为暑期主力客流，占出境游约三成，中国香港、韩国以及新加坡、马来西亚、泰国等“免签黄金线”持续火热。

六 | 　　据了解，Groq芯片由三星制造，而英伟达的GPU则由台积电生产。

七 | 为高效应对暑期客流高峰，持续优化口岸通关环境，杭州边检站聚焦中外旅客通关需求，推出系列便民利企举措，全面提升通关效率与服务体验。每一个LPX机架可整合256颗Groq 3，英伟达援引Artificial Analysis的基准测试称，整合后的机架每秒可处理3400个token。

八 | 　　当下， 这一领域竞争激烈。面对激增的客流，杭州边检站在通关效率和服务体验上做起了“精细活”。AMD今年早些时候宣布，将把其机架级系统与Cerebras的芯片进行整合。

九 | 为方便外籍旅客入境，边检站全面推行外国人电子入境卡，联动航空公司在登机前、乘机中、落地后全流程提醒旅客扫码预填报，将信息采集前置，通关流程基本实现无纸化，有效缩短了外籍旅客的人均等候时间。Cerebras近期刚刚上市，业务重点同样是低延迟推理。　　近期，OpenAI推出的“Ultrafast”模式承诺每秒可处理750个token，由Cerebras提供支持。与此同时，边检站创新试行“诚易通”机制，对低风险的重要商务人员简化查验环节，让商务出行更加便捷高效。　　需要指出的是，低延迟芯片并不能取代作为AI芯片主力的GPU。

十 | GPU既能够执行训练，也能够进行推理，同时具备足够的灵活性，可以适应新技术和新模型。在航班接机流程上，边检也进行了优化，多数航班落地即可下客、即验即放，现场设置蛇形查验通道，高峰时段所有通道全开、警力配齐，科学削峰引流，确保秩序井然。

十一 | 考虑到暑期家庭游、亲子游集中，老人和幼儿同行的情况较多，边检站专门在服务细节上做出调整。例如精准预判客流高峰，动态调配执勤警力，增派台外引导民警做好分流和咨询，同时在边检大厅开设“特别通道”，由专人引导，60周岁及以上老年人和幼、病、残、孕旅客均可优先通行。边检站还拍摄了通关指南视频，同步投放在国家移民管理局、杭州边检等官方新媒体账号以及杭州口岸电子大屏幕上，线上线下联动宣传，让更多旅客提前了解通关流程，出行更安心、更高效。　　Groq这类低延迟芯片则主要专注于模型服务中的一个环节，即“解码”（decode）阶段。Harris也提到：“这并不是要取代GPU，而是要针对工作负载的不同环节，使用价格合适、处理能力合适的处理器。”　　英伟达目前正在加快Vera Rubin系统的出货速度。黄仁勋先前曾预计，到2027年，当前一代Blackwell芯片和新一代Vera Rubin系统的累计销售额将达到1万亿美元。　　黄仁勋当时表示，他计划将面向编程应用的数据中心空间中约四分之一分配给Groq芯片。“我的数据中心其余部分将100%采用Vera Rubin。”（文章来源：财联社）。

Current article:http://pddj5.cibianpangjujiusu.cyou/news/20260826_857269.html

Published on:04:27:51