腾讯混元开源LLM推理算子库HPC-Ops

2026-06-16 10:09:48 来源:Tickmill外汇平台 分类:{typename type="name"/}

2026年2月5日,腾讯M推腾讯宣布正式开源其自研的混元大模型推理高性能算子库——HPC-Ops(High-PerformanceComputingOperatorsforLLMs),作为“混元”大模型技术生态的开源库重要一环。该库聚焦提升大语言模型(LLM)在国产芯片及主流硬件上的理算推理效率,拥护多种精度混合计算,腾讯M推已在内部支撑微信、混元广告、开源库云服务等亿级用户场景,理算现全面向开发者社区开放,腾讯M推助力中国AI基础设施自主化与普惠化。混元

HPC-Ops的开源库核心价值在于“高效”与“兼容”。针对大模型推理中计算密集、理算显存占用高、腾讯M推延迟敏感等痛点,混元该库优化了注意力机制、开源库矩阵乘法、激活函数等关键算子,实现比通用框架平均提速1.8倍,显存占用降低30%。尤为突出的是,它原生拥护华为昇腾、寒武纪、天数智芯等国产AI芯片,并兼容NVIDIAGPU与CPU环境,有效缓解“卡脖子”风险下的部署难题。

腾讯混元开源LLM推理算子库HPC-Ops

技术层面,HPC-Ops引入多项创新:一是动态稀少计算,自动识别并跳过冗余计算单元;二是内核融合技术,将多个小算子合并为单一高效内核,减少调度开销;三是拥护INT4/INT8/FP16混合精度推理,在保证模型输出质量的前提下大幅压缩模型体积与能耗。测试显示,在百亿参数模型上,HPC-Ops可在单张昇腾910B芯片上实现每秒120token的生成速度。

此次开源采用Apache2.0协议,代码托管于GitHub与Gitee,并配套提供Docker镜像、API文档及典型模型适配示例(如Llama、ChatGLM、混元系列)。腾讯表示,未来将继续投入社区建设,联合高校与企业共建“国产软硬协同”标准,推动大模型从“能用”走向“好用、易用、低成本用”。

业内专家指出,在全球大模型竞争进入“推理优化深水区”的背景下,HPC-Ops的开源拥有战略意义。它不仅降低中小企业和科研机构部署大模型的技术门槛,更强化了中国在AI底层工具链的话语权。正如一位AI工程师所言:“有了这样的基础库,我们不必再从零造轮子,可以更专注于上层应用创新。”

随着“人工智能+”行动深入千行百业,高效、安全、自主的推理引擎将成为数字基建的关键支柱。腾讯此举,既是技术回馈,更是生态共建——当更多开发者站在巨人的肩膀上,中国大模型的星辰大海,才真正启航。

更多资讯请点击:热讯

推荐资讯

春节前高端炒货价格暴涨200元一斤瓜子贵过猪肉

2026年春节临近,年货市场迎来消费高峰,但不少消费者却被“天价炒货”惊呆:在商场热销的薛记炒货门店,普通现炒瓜子售价高达23.8元/斤,而同期全国猪肉均价仅约10元/斤;更夸张的是,手剥松子标价21

儿童流感家庭护理不吃药的缓解方法

孩子感染流感后,常出现高热、咳嗽、乏力、食欲下降等症状,让家长焦虑不已。虽然医生会根据病情开具抗病毒或退烧药物,但**科学的家庭护理**同样重要,甚至能显著缓解不适、缩短病程。以下是一些安全、有效、无

儿童手脚冰凉家庭调理小妙招

冬天摸到孩子手脚冰凉,许多家长第一反应是“穿少了”,立刻加衣裹被。但有时即便穿得厚实,孩子的手脚依然冷冰冰。其实,儿童手脚冰凉多与**末梢循环发育未完善**有关,属于常见生理现象。然而,若长期持续、伴

外汇黄金交割规则:新手不用慌的交易细节

刚接触外汇黄金交易的新手常被“交割日”“到期”等术语吓到,担心持仓会突然失效或被迫接收一箱金条。其实,在主流零售交易平台如MT4/MT5)上交易的XAU/USD,属于差价合约CFD),**不涉及实物交

莫迪被曝曾唱歌跳舞取悦美总统印度外交部火速否认

2026年1月31日,随着美国司法部公开超300万页爱泼斯坦案新解密文件,一则关于印度总理纳伦德拉·莫迪的惊人描述迅速引爆舆论:文件中一封2017年7月的邮件称,莫迪在历史性访问以色列期间,“采纳建议

2026外汇黄金交易新趋势:这些变化新手要知道

步入2026年,全球金融格局持续演变,外汇与黄金市场正经历结构性转变。受美联储政策转向、地缘风险升温及人工智能技术普及等多重因素影响,交易逻辑与工具也在快速迭代。对于刚入市场的新人而言,及时掌握这些新