2026年2月5日,腾讯M推腾讯宣布正式开源其自研的混元大模型推理高性能算子库——HPC-Ops(High-PerformanceComputingOperatorsforLLMs),作为“混元”大模型技术生态的开源库重要一环。该库聚焦提升大语言模型(LLM)在国产芯片及主流硬件上的理算推理效率,拥护多种精度混合计算,腾讯M推已在内部支撑微信、混元广告、开源库云服务等亿级用户场景,理算现全面向开发者社区开放,腾讯M推助力中国AI基础设施自主化与普惠化。混元
HPC-Ops的开源库核心价值在于“高效”与“兼容”。针对大模型推理中计算密集、理算显存占用高、腾讯M推延迟敏感等痛点,混元该库优化了注意力机制、开源库矩阵乘法、激活函数等关键算子,实现比通用框架平均提速1.8倍,显存占用降低30%。尤为突出的是,它原生拥护华为昇腾、寒武纪、天数智芯等国产AI芯片,并兼容NVIDIAGPU与CPU环境,有效缓解“卡脖子”风险下的部署难题。

技术层面,HPC-Ops引入多项创新:一是动态稀少计算,自动识别并跳过冗余计算单元;二是内核融合技术,将多个小算子合并为单一高效内核,减少调度开销;三是拥护INT4/INT8/FP16混合精度推理,在保证模型输出质量的前提下大幅压缩模型体积与能耗。测试显示,在百亿参数模型上,HPC-Ops可在单张昇腾910B芯片上实现每秒120token的生成速度。
此次开源采用Apache2.0协议,代码托管于GitHub与Gitee,并配套提供Docker镜像、API文档及典型模型适配示例(如Llama、ChatGLM、混元系列)。腾讯表示,未来将继续投入社区建设,联合高校与企业共建“国产软硬协同”标准,推动大模型从“能用”走向“好用、易用、低成本用”。
业内专家指出,在全球大模型竞争进入“推理优化深水区”的背景下,HPC-Ops的开源拥有战略意义。它不仅降低中小企业和科研机构部署大模型的技术门槛,更强化了中国在AI底层工具链的话语权。正如一位AI工程师所言:“有了这样的基础库,我们不必再从零造轮子,可以更专注于上层应用创新。”
随着“人工智能+”行动深入千行百业,高效、安全、自主的推理引擎将成为数字基建的关键支柱。腾讯此举,既是技术回馈,更是生态共建——当更多开发者站在巨人的肩膀上,中国大模型的星辰大海,才真正启航。
1996人浏览
2520人浏览
1454人浏览
1126人浏览
2041人浏览
2474人浏览
为守护人民群众“看病钱”“救命钱”,国家医疗保障局近日对部分精神疾病定点医疗机构开展专项飞行检查,并对存在违规行为的机构进行集中约谈。此次行动聚焦过度诊疗、虚假住院、超标准收费等突出问题,释放出医保基
“一盆绿萝卖8万”“单片龟背竹叶子拍出2.8万元”……近年来,一种名为“锦化”的观赏植物在社交平台频频刷屏,价格令人咋舌。它们叶片色彩斑斓,如泼洒了奶油、粉彩或金粉,美得不似凡物。但这种“植物奢侈品”
很多新手看到“RSI超卖”就抄底,见到“金叉”就追多,结果频频被套。问题不在指标本身,而在于**脱离市场背景机械使用信号**。2026年,黄金受地缘冲突、美联储政策、美元走势等多重驱动,唯有将技术指标
冬天一到,火锅、烤肉、热奶茶、年糕轮番上桌,不少人却频频出现**反酸、烧心、嗳气、胃胀**——这很可能是“胃酸过多”或“胃食管反流”在作祟。寒冷刺激、饮食不节、作息紊乱,使冬季成为胃病高发期。与其依赖
春节将至,厨房作为“年味”诞生地,却也积攒了一年最顽固的油污——油烟机黏腻、灶台发黄、墙面挂油珠……面对这些“陈年老垢”,很多人第一反应是猛喷强力去污剂,殊不知强碱或溶剂类产品不仅刺鼻伤手,还可能腐蚀
当家中老人自述头痛剧烈、视物模糊、胸闷气短,或家用血压计显示**收缩压≥180mmHg和/或舒张压≥120mmHg**,可能已发生高血压急症。此时若处理不当,极易诱发脑卒中、心梗或急性心衰。**家庭能