文章资讯
有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍
今日科普10月20日消息,据媒体报道,NVIDIA的最新研究可能彻底改变AI的未来,其研究团队提出了一种名为归一化Transformer(nGPT)的新型神经网络架构。
这一架构在超球面(hypersphere)上进行表示学习,能够显著提升大型语言模型(LLM)的训练速度,最高可达20倍,同时保持了模型的精度。
nGPT架构的核心在于将所有向量,包括嵌入、多层感知机(MLP)、注意力矩阵和隐藏状态,归一化为单位范数。
这种归一化处理使得输入的token在超球面表面上移动,每一层模型都通过位移来贡献最终的输出预测。
实验结果表明,nGPT在训练时所需的步骤比标准Transformer模型减少了4到20倍,具体加速效果取决于序列长度。
例如,在1k上下文中,训练速度提高了4倍;在4k上下文中,提高了10倍;而在8k上下文中,更是提高了20倍。
研究人员指出,nGPT的优化路径从超球面上的点开始,通过位移来贡献最终的输出预测,其中位移量由MLP和注意力模块定义。
这种方法不仅提高了训练速度,还增强了模型的稳定性。
- 上一篇
官降6万订单直接爆仓!别克昂科威Plus累计订单已达14527台
今日科普10月20日消息,今日,别克举办了昂科威家族上市十周年暨第170万辆下线仪式,第170万辆昂科威Plus正式下线。同时,别克官方宣称,昂科威Plus推出16.99万元起限时一口价后,市场火爆,各地别克经销商均出现“爆单”盛况,目前累计订单已达14527台。据悉,今年6月时,全新一代别克昂科威Plus上市,3款配置车型,售价区间为22.99-25.99万元,新车
- 下一篇
对标比亚迪海豚!埃安全新纯电两厢车曝光,预计售价10万级
今日科普10月20日消息,广汽埃安即将在11月的广州车展上推出其第二款全球车型。官方表示,这是一款纯电动两厢车,计划在车展上首次亮相,并随后进入欧洲市场。从曝光的实车图来看,这款新车拥有圆润的外观设计,不规则轮廓的头灯内置LED日行灯,前包围两侧有“田”字造型的光源,散热孔则采用斜向排列的线条设计。车辆侧面配备了悬浮设计的外后视镜和半隐藏门把手,充电口位于前翼子板区域