
百望股份CTO 王志伟
当通用大模型的参数规模、榜单分数和通用知识不再是稀缺资源,行业开始思考一个更深层的问题:模型能不能真正走进企业的核心业务流程,让数据持续回流,让专业角色完成工作,并交由业务来验收?
在20...

百望股份CTO 王志伟
当通用大模型的参数规模、榜单分数和通用知识不再是稀缺资源,行业开始思考一个更深层的问题:模型能不能真正走进企业的核心业务流程,让数据持续回流,让专业角色完成工作,并交由业务来验收?
在2026 ITValue Summit数字价值年会上,百望股份CTO王志伟把这个问题回答得相当具体。
百望是一家以电子发票起家的企业,十年间沉淀了超过260亿张交易凭证、累计交易金额超千万亿元,覆盖企业税号九千万以上。在王志伟的定义里,这些不同的数据类型,是同一笔交易从发生、结算、纳税到产业协同的完整链路。而每一张发票,都是企业与社会发生关系时留下的“数字DNA”。这份横跨十年的积累,构成了百望转身AI的底座。
王志伟的核心判断是,行业模型并不是通用模型的缩小版,而是通用模型进入产业实景之后“长出来”的一套工作系统。他拆解了通用模型进入企业核心流程必须跨过的三道门槛——幻觉与事实风险、数据主权、成本问题。
在财税这种严谨场景里,模型不能只会“说得通”,还必须配备事实校验器,对发票、税票、工商及企业经营行为进行交叉验证。企业高度敏感的交易与财务数据,也不可能坦然放上通用模型,私有化部署因此成为“企业敢不敢用”的技术前提。
从真实的交易数据打底,到定义垂类模型的五层能力,再到把考核指标从回答准确率转向异常发现率、申报差错率、人工审核命中率等业务结果,百望股份的数据飞轮路径是,真实业务产生交易数据,数据训练行业模型,模型支撑AI决策,决策产生业务结果,专家反馈再反哺高质量训练集。飞轮一旦转起来,便越用越好用。
如今,百望正从一家电子发票SaaS公司,转型为以真实交易数据为基石的AI公司,这条路的目标指向,是被他反复强调的那句,“最终卖结果”。
从上午到现在,我认真听了每一场分享,收获非常大,有一些非常有共鸣。后面一些材料,可能跟大家有共同的见解。印象最深的是,上午有一位嘉宾提到,垂类模型可能“不太行”。我正好要分享这个,心里当时凉了一半。
不过那位嘉宾后来又说,有三种手段能把垂类模型做好、跨过三个门槛,这正好跟我后面要分享的有相同之处。
先介绍一下百望。我们是一家电子发票厂商,这十年来一直做票、税、单证这些相关产品。这些产品看起来背后是不同的数据类型,实际上是同一笔交易完整的链路——从一笔交易的发生,到结算,再到纳税,再到产业协同的完整过程。
今年,我们把真实交易和现在的财税知识结合在一起,看看如何能够构建出百望的垂类财税大模型。
接下来围绕三方面展开:第一,企业为什么需要垂类大模型;第二,百望如何做财税大模型;第三,财税大模型如何从“能回答问题”到最终“能交付一个业务结果”。
过去三年,我们比较模型,看的是参数规模、榜单分数和通用知识;但未来三年,随着大模型深入到产业中,竞争的中心可能会变成:模型能不能进入到真正的业务中,能不能让数据持续回流,能不能让多个专业角色完成最终的工作,让业务来验收。目前模型能力正在快速商品化,回答一个常识性的问题越来越普遍,但是具有专业技能、工种经验的垂类智能体,还是越来越稀缺的。
我们的判断是:行业模型并不是通用模型的缩小版,而是通用模型进入产业实景之后,长出来的一套工作系统。
为了实现这一演进,大模型也必将进入到企业的核心流程中来。我们分析,通用模型进入企业的核心流程,有三个核心问题需要解决——其实这三个问题,上午和下午的不少专家都讲得非常一致。
第一个,是幻觉和事实的风险。财税场景下,并不是“只要能够说得通的解释”就OK。如果这个地方出现问题,很有可能面临罚款,甚至有一些处罚,影响企业的信用。它是非常严谨的场景。在我们这个场景下的模型,必须具有事实校验器,能够把发票、税票、工商,以及企业经营这些行为,做一个交叉验证,来保证高可用。
第二个,是数据主权。财务、交易数据是企业高度敏感的资产,很多企业是不可能放在通用模型之上的,那样会面临巨大的数据安全问题。我们后面也会推私有化的部署方案,让模型在企业内网中独立运行,保证数据主权、AI的主权,还是由企业自己所掌握。
第三个,是成本问题。一家企业如果一直调用外部通用模型的Token,不管是在成本上还是在治理上,其实都非常不可控。这三点决定了,垂类能力和私有化部署,是企业AI的技术条件和技术前提。
对于幻觉问题,首先回答这个问题,大家有不同的视角,行业里也有不同的答案。在这个场合之下,我想说一个观点:我们首先要从模型所使用的训练数据上着手。模型所使用的训练数据如果不是真实的,如果是高度不确定性的,那它生成的模型必然会有更大的不确定性。
公开的知识能够告诉模型:税法怎么写,会计准则怎么解释,政策文件怎么规定。但它其实无法告诉模型,一笔交易在真实的交易实景中,这个企业的经营状况是怎样的。所以百望最有价值的数据,并不是发票本身,而是发票背后对应的商业事件,这才是它最大的数据价值。
每张发票都连接着交易对手、订单的合同,以及背后的这一系列商业行为。我们把票、税、单证这些数据串联起来,才能够理解一个企业的经营实景,以及它的上下游关系、它的财税特征。这也就是为什么把发票称为“企业经营数字DNA”——它不是简单的静态凭证,而是这个企业和这个产业发生关系的时候,留下的一个“可行的数据”。对于财税大模型来说,这类数据肯定比网上公开的那一类数据,训练价值要高得多。
我们经常看一些模型讲“泛化”。我们想到的模型,可能能够覆盖更多的问题;但企业真正需要的泛化,是把每一个能力变成每一个工种的专业能力,嵌入到不同的组织当中、不同的流程当中,能够被负荷、被追溯。如果模型只给一个答案,说不清楚为什么是这样、依赖的数据是什么,这对于企业来说是一个巨大的风险。
百望采用的路径是:真实的交易数据打底,规则、约束、行为证据链、记录过程,最后用业务结果来验收我们每一次回答、每一次执行。
这是我们的数据基础。模型最值得信任的基础,是值得信任的数据。截至目前,百望一共处理交易凭证超过260亿张,累计交易金额超过千万亿元,覆盖企业税号九千万以上,大型集团企业有三千多家,成长性企业三千万家,沉淀了四千多项企业的实际运营指标。
这一组数据,价值不仅仅在于规模,它有三个维度可以回报给大家:第一个是广度,能够看到不同上下游之间的交易关系;第二个是长度,我们做这一行已经十年了,积累了一个跨度超过十年的、整个企业经营脉络的关系数据;再一个是新鲜度,当这笔交易发生之后,我们大概能够T+1更新,保证足够的判断新鲜度,能够跟上正在发生的商业行为。
财税数据,可以成为中国企业经营的活样本。我们训练的,并不是只会聊天的、会背税法的聊天机器人,它能够从连续交易中识别事件发生的关系,以及连续变化的一个行业模型。
在微观上,我们经常会遇到“能不能评价一下这张发票是不是合理”这样的问题。我们判断的背后,要对它的交易背景、上下游关系、企业经营状况、税务的规则、历史行为、行业惯例等等,做统一的处理。我们所训练的垂类模型,大概包含五个层面的能力:第一,要有持续更新的行业知识;第二,能够确定性地表达行业规则;第三,是真实交易行为;第四,是嵌入企业的工作流;第五,是可以验收、可被追责的评价体系。缺任何一环,这个模型最终只是停留在演示层面。
这也是我们对一个垂类模型的新定义:他是行业版的工作系统——能够理解业务,调用规则,组织证据,并把判断变成下一步可执行的任务。
为了实现上面五层能力,这是我们训练的过程和思路。这一页因为大家都比较专业,我就不一一展开描述了——它能够调用实时数据,基于日常的积累,最终让我们数据保持一个更新;并且通过实时调用外部的数据,能够实时更新;并且能够通过Agent、Workflow,把它串联成一个完整的任务。
我们有了一个初始的财税模型,让它持续更新,才是这个模型越用越好用的关键。行业是否好用的核心指标,我们也从回答的准确率,逐渐转向了业务结果的指标。在财税场景下,比如异常发现率、申报差错率、人工审核命中率,也是在应用模型的实践中来——百望把数据飞轮和垂类AI、场景闭环,放到一起统筹考虑:真实的业务产生交易数据,再把这个数据用来训练行业模型,来支撑更多AI决策;决策又产生业务结果;最终专家反馈,再形成高质量的训练集。这个飞轮一旦转起来,越循环就越接近真实的业务。
下一个服务企业的专属能力,肯定离不开企业的专属数据——在企业内网独立运行,这样模型本身、它的数据、它的责任,都能够被企业所掌握。企业可以用自己的私有数据持续进行训练,再根据组织规模规划算力。这样我们就可以解决“企业敢不敢用”的问题。当数据不出域,数据权限、脱敏、审计都可被验证,业务部门才有可能把这个模型,用在他的真实关键业务流程中。只有数据不出域,企业才会拥有真正的AI主权。
有了财税大模型之后,我们大概用来解决哪些问题?我们大概分在四个核心任务中。
第一个,是合规和风险的管控。它通过票、款、货、账、税等等这些数据,形成风险线索,然后最终做判断依据。
第二类,是财税作业的一个流程执行。像处理发票、合同、业务数据,完成它的审核、申报等等。
第三类,是方案分析和决策辅助。在经营决策前,可以比较不同的财税成本和风险。
第四类,是经营分析和洞察。交易和财务数据,可以转化成各工种理解的经营信息,帮助企业探讨商机、探讨客户、探讨商品的变化。

这四类任务,指向了同一件事情:从发现、判断,到进入流程,再到辅助决策,最后可以“看见”这个企业的经营。
以付款环节为例。一笔付款,我们在看发票的时候,系统同时读取发票、供应商、交易对手方、订单、合同等等的数据,再由不同的工种——像销售、报销等等——组成的智能体协同,来完成这一项任务。系统会给出主体的核验、交易对手的分析、空壳公司的校验,以及产业链整个风险传导等等,最终形成一个结论。AI承担的是“准备事实”和相应的责任,人仍保留授权和相应的责任。一笔付款,可以做到有根据、可校验,最终在事后可追溯。
这是我们在服务客户中的两个真实场景。第一个,是在央国企穿透监管的时候,需要把整个交易链连接起来,并且分析每个交易对手方的实际经营情况、是不是有经营风险,全部从整个链条上进行分析。这是我们实际已经有不少客户在使用的案例。在医药行业,也是同样的逻辑。
这是我们目前推得相对比较广的两个应用场景。这是现在的商业模式——前面的专家都已经提到过了,最终“卖结果”。
百望正从一家电子发票SaaS公司,转型为以真实交易数据为基石的AI公司。我想这个转型,不是在原有的业务上贴上AI的标签——像“AI发票”“AI报税”,并不是这样的。我们是把这十年来积累的数百亿张交易事实的发票,以及头部的财税行业经验,和服务三千万家企业的专业能力,重新编制成一套可以进入生产系统的智能基础设施。“独行快、众行远”,百望愿与大家一起,共赴产业AI的未来。(本文首发于钛媒体APP,作者|李程程)
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App

2026年,国产算力领域最火的一个词非超节点莫属。这个看起来有些技术化的名词,正在悄悄改变算力世界的底层逻辑。提到计算与超节点,我们首先想到一个词就是:天下之势,合久必分,分久必合。这点用在如今的计算领域十分...

2026年,国产算力领域最火的一个词非超节点莫属。这个看起来有些技术化的名词,正在悄悄改变算力世界的底层逻辑。提到计算与超节点,我们首先想到一个词就是:天下之势,合久必分,分久必合。这点用在如今的计算领域十分恰当。
当我们从云计算的“分布式”计算时代走过,步入AI时代之后,单颗GPU已经不足承载AI算力需求之时,将多颗GPU所处的服务器“融合”成一台超级计算机,这就是超节点如今正在做的事。
2026年,用户对AI算力公司的提问已经从“你能给我多少卡?”,转变为“你每秒能稳定产出多少有效Token?成本是多少?”这背后的本质是因为大模型已经从原先的训练为主,变为推理为主。
过去两年,大模型的参数规模一路狂奔。从千亿级到万亿级,MoE架构成为主流,DeepSeek R1有671B参数、256个路由专家;Kimi K2.5更是达到了1T参数、384个路由专家。每生成一个Token,模型内部就要触发几十甚至上百次跨卡通信。这种通信量级,传统服务器集群根本扛不住。
对此,业内专家告诉我们,大模型正在从能训练、能运行进入规模化生产阶段,问题不再是单卡峰值和卡数,而是系统能否稳定承载模型、持续产出有效Token,同时控制时延与总成本。换句话说,训练是项目制的,训完即止;推理是运营制的,时延敏感,成本与收入直接挂钩。
无独有偶,中科曙光高级副总裁李斌也向我们表达了相似的观点,他指出,行业衡量算力的标准变了,过去主要看单颗芯片的峰值性能,现在更看一套系统能持续输出多少有效算力。
这个改变的背后,受到了两个需求的影响。一个是模型侧的倒逼。MoE混合专家架构驱动大模型参数规模持续膨胀,前沿模型的参数量快速突破万亿。参数和序列长度的增加带来键值缓存(KV Cache)的激增,需要超大显存空间来承载;而推理过程是典型的通信敏感型计算,专家路由、Token分发、跨卡数据交换,都对互连带宽和时延提出了近乎苛刻的要求。
另一个是应用侧的放大。Agent的兴起让一次用户请求可能触发多轮模型调用、工具调用和并发任务,智能体推理需要生成比传统模型多近百倍的数据词元。对此,李斌指出,“Token消耗和并发压力都会上升,带来的跨卡通信,对带宽和时延都很敏感。”
需求有了,供给侧的条件也在成熟。高速互连、液冷、分布式存储和系统管理软件的进步,让把更多计算资源装进一个更紧密的系统成为可能。于是超节点从概念走向共识,而超节点本质上做了一件事:把高速互连域从传统的8卡扩展到几十卡甚至上百卡,让卡间通信从网络传输,变成内存访问级别的低延迟。
这个效率的提升效果有多大?以英伟达的NVL72为例,海外研究机构SemiAnalysis的开源推理基准InferenceX做过一组同芯片对照实验:GB200 NVL72与HGX B200使用同一代Blackwell GPU,唯一差异是系统架构。在DeepSeek R1推理中,NVL72凭借72卡NVLink全互连的规模优势,单卡吞吐最高达到B200的4.4倍,峰值达每卡4130 Token/秒,而B200只有941 Token/秒。原因在于,B200服务器只支持8卡NVLink互连,一旦专家并行度超过8,通信就要跨出NVLink域、走上带宽低得多的以太网。
效率提升的主要来源不是单卡变快,而是互连域和系统架构对通信开销的压缩。业内专家指出,“这波热度的本质是基础设施竞争的计量单位从FLOPS变成每元、每毫秒能稳定产出多少有效Token”。模型演进定义了需求的上限,系统能力决定了落地的下限,两者一旦匹配,超节点便从概念变成了产业共识。
方向明确了,但把超节点做出来,远比想象中艰难。行业普遍用“四堵墙”来概括传统服务器集群面临的瓶颈,即通信墙、功耗与散热墙、存储墙、复杂度墙。
超节点要突破这四堵墙,考验的不是某一项单点技术,而是计算、互连、供电、散热、存储、软件的系统级整合能力。也正因如此,真正的超节点“绝非物理组合”,据悉,前期仅芯片架构设计费用投入就可能超过亿元。
这其中首当其冲的就是通信墙。传统集群中,卡间通信走的是网络传输路径;超节点则把高带宽互连域从8卡扩展到64卡以上,让卡间通信变成接近内存访问的低延迟操作。
与通信墙相比,存储墙与复杂度墙则更考验体系化能力。中科曙光的思路是把通信、存储、散热和管理问题放到一个系统里协同优化:通信上采用超节点内部高速互连、超节点之间scaleFabric高速网络的分层架构;散热上浸没式相变液冷让PUE低至1.04;存储上ParaStor系统围绕大规模并发访问和检查点读写进行优化,并多次登顶全球性榜单。而面对复杂度墙(系统规模越大,局部故障、软件适配和运维压力越容易被放大)的挑战,曙光强调的下一阶段重点,是故障快速隔离与恢复、跨架构应用迁移等问题。
功耗/散热层面。目前超节点的解决方案中,液冷已经成为标配。联想在这条路上走得相当扎实,据联想中国基础设施业务群服务器事业部总经理周韬介绍,联想“海神液冷”品牌已从通用服务器扩展到全部AI服务器,支持45度温水进水,日常水温无需额外冷却处理即可直接使用,大幅降低冷却环节的能耗。此外,液冷硬件设备的生产过程也是对供应链的考验,对此,周韬告诉我们,整机柜液冷产品一个机柜承重超过3吨,耗电达到数百千瓦,联想为此对工厂进行了承重加固、十兆瓦级供电改造,而因为液冷快接头非常精密,灰尘和腐蚀很容易导致漏液,工厂甚至需要把生产环境的洁净度做到了十万级。
值得一提的是,目前超节点仍处于发展的初期阶段,我们在与不分国内一线服务器厂商的沟通中,各家在多大规模才合适的问题上,给出了不同的答案。分歧的焦点在于:一级高速全互联域到底应该做多大?
在某行业专家看来,互连域存在收益收敛的边界,NVIDIA在GH200阶段的研究就验证过,互连域规模超过一定程度后,训练性能的边际提升趋于平缓,相对增加的复杂度、成本和故障面而言得不偿失。因此NVIDIA在GB200、Vera Rubin时代都在控制单一互连域规模,转而专注提升单系统效率。
联想的选择同样体现这一逻辑,据周韬介绍,联想问天超节点选择单节点40张GPU的规模,理由是真正意义上的一级高速全互联域,无论是NVIDIA NVL72、AMD Helios还是其他方案,规模大多集中在几十卡到百卡以内,所谓数百卡乃至上千卡的系统,本质上已进入多级互联和Scale Out集群范畴。40卡既能在节点内获得较高通信效率,又避免超大规模互连在可靠性、运维上的挑战,同时通过标准网络灵活扩展至更大的集群。
曙光则选择“大小通吃”:既有十万卡AI超集群曙光8000,也有40卡的scaleX40“箱式超节点”,对应不同客户的需求与建设条件。
尽管路线各异,但共识正在浮现:规模是手段而非目的,真正需要优化的是一定规模约束下的系统效率。业内专家直言不讳地批评了一种现象,部分厂商刻意把互连域规模包装成超节点能力的代名词,“规模可以在参数表上一夜之间做上去,Token成本却必须在真实负载里一分一毫地省出来”,该负责人指出。这句话,或许可以作为本轮超节点竞赛里最值得客户记下的一条选型提醒。
技术验证只是起点。超节点要真正规模化落地,工程化的挑战不可回避。在这个过程中,真正的瓶颈不在某个单点,而在系统化的工程能力,以及与之配套的软件生态,技术验证只需要把系统跑通一次,规模化商用要求把这套系统成千上万次地稳定复制出去。
从样机到产品,要过的第一关是供应链。AI的爆发带动了上下游整体进步,也抬高了关键物料的压力。高速线缆、高速背板、MLCC电容这些元器件的供应都趋于紧张,这类问题靠单家厂商解决不了,得由整机厂牵引上下游一起扩产和验证。另一头是国产AI芯片的供给约束:IDC的数据显示,2025年本土厂商AI加速卡出货约165万张,预计2026、2027年升至368万和608万张,但总量仍受外部约束,这也直接框定了国产超节点放量的节奏。
第二关是标准化和生态墙。这个挑战是本轮沟通中几家厂商都承认、但又最难解决的问题。就像前文提到的,超节点这个技术仍处于发展的初期阶段,各家互连协议和软件栈互不兼容,客户在模型迁移、框架适配和运维体系上要反复付出改造成本,选型变成一次高风险的押注。
破局的路径自然是开放。当前,各家厂商也都在生态和标准化方面有所布局,浪潮信息围绕OAM架构累计推出10款开放加速系统、完成30余款主流加速芯片的兼容适配;2024年还牵头成立了超节点算力集群创新联合体,2025年发布超节点智算应用“北京方案”。

曙光则通过“AI计算开放架构”推动分层解耦,芯片厂商专注算力与能效,系统厂商专注集群架构与网络设计,软件厂商专注算法与场景创新。
联想的姿势略有不同,周韬表示,联想在通用超节点方面坚持开放路线,定制化超节点则与头部客户深度协同,合作设计。在周韬看来,超节点真正拥有的人群未来会集中在少数头部客户身上,而“各家有自己的标准、架构、Link”,通用与定制两条腿走路是现实的选择。
第三关是可靠性。规模上去之后,任何一处短板都会被放大,局部故障、软件适配和运维压力尤其明显。基于此,李斌将“故障快速隔离与恢复、跨架构应用迁移、算力利用率”列为下一阶段要重点解决的问题。这也解释了为什么三家的开放架构里,软件平台都占了很大篇幅:硬件定义上限,软件决定下限,这句话在超节点时代比以往更成立。
此外,客户结构的不均匀,是落地时另一道隐形坎。头部互联网客户有多年系统工程积累,机房、供电、散热、组网、运维都能接住超节点的部署门槛,已经率先大规模上量;中小企业、科研机构和大型行业客户同样认超节点的价值,但基础设施和运维能力弱,靠自己很难复制头部客户的打法。他们要的是开箱即用、稳定产出Token、且具备完整软件生态的产品,把系统工程复杂度封装在产品内部。联想的SuperPod40、曙光的scaleX40,针对的都是这个痛点。
展望未来,超节点的形态大概会沿着几条线收敛。其一,超节点的形态会继续分层,内部以Scale-up追求高带宽低时延,之间通过开放的Scale-out网络扩展,未来不太可能只有一种尺寸或一种协议。其二,细分场景的差异化架构会成为演进方向,预训练、后训练、推理的Prefill与Decode对算力、显存、通信的需求结构差异很大,“用同一种芯片和互连方式通吃所有阶段,必然存在错配”,更合理的终态是让每个阶段匹配更合适的芯片与互连架构。其三,供电、光互联、浸没式液冷等前沿技术正在储备中——联想已把800伏高压直流供电、PCIe Gen6交换、整机柜浸没式列入探索方向。其四,竞争的终局不在硬件参数表上,而在谁能构建开放、协同、可持续演进的生态
超节点的故事,就像是AI产业从“拼单点”走向“拼系统”的缩影。当行业开始用每一块钱能买到多少有效Token来衡量算力,真正的竞争才刚刚开始。
(文|Leo张ToB杂谈,作者|张申宇,编辑丨杨林)
更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App
本文来自微信公众号: 巨潮WAVE ,编辑:杨旭然,作者:谢泽锋,原文标题:《端侧AI之战正式打响|巨潮》
跳出行业激战、耗资巨大的超级云端大模型,转向端侧模型研发,或开发端侧模型智能终端,成了很多企业深度参与...
本文来自微信公众号: 巨潮WAVE ,编辑:杨旭然,作者:谢泽锋,原文标题:《端侧AI之战正式打响|巨潮》
跳出行业激战、耗资巨大的超级云端大模型,转向端侧模型研发,或开发端侧模型智能终端,成了很多企业深度参与AI浪潮的重要方向,尤其是对于硬件企业来说。
面壁智能CEO李大海认为,2026年就是“端侧AI商业化元年”——这家公司虽然并没有获得AI手机的相关资质,但也因为相关的概念和产品获得了数额不小的融资。
今年7月份,网信办要求有序开展AIGC服务备案工作,并新增了Apple智能、华为小艺、小米澎湃AI等7家大模型的备案信息。
随后,豆包AI手机NaviX Ultra于9月16日正式亮相,Apple智能(Apple Intelligence)+全新Siri AI已经在WWDC26发布,刚刚上市的小米18 Fold则内置了Xiaomi MiMo端侧大模型。
智能汽车赛道,由印奇执掌的阶跃星辰在汽车和手机赛道双向押注,一方面联手吉利切入智能汽车,另一方面推出了旗下首个原生智能体手机(Agentic Phone)STEPX Neo。
大洋彼岸,Meta、英伟达、谷歌、OpenAI等巨头也开始探索端侧研发,或者联合设备厂商打造全新的AI硬件。
一场端侧之战实际上已经开启,智能硬件产业面临一次规模浩大的升级浪潮。
以小博大
与大众熟知的DeepSeek、ChatGPT等云端大模型相比,端侧模型更加轻巧,参数量更小,可以利用设备端算力直接运行,无需依赖云端。
参数量是AI大模型和端侧大模型之间最显著的区别。AI大模型动辄上万亿的参数,Kimi K3(月之暗面)高达2.8万亿(2.8T)MoE,Anthropic的Mythos参数更达到10万亿(10 trillion),训练数据量300万亿token。

巨大的参数量,可以使市场上的各家大模型拥有更强的性能,能够捕捉复杂的数据模式并在多种任务中表现出色。但问题在于,依赖云端推理的方式需要网络连接,会带来延迟和隐私问题。一旦断网或遭遇突发情况,将直接宕机无法使用。
端侧设备的芯片性能和存储空间有限,因此端侧大模型的参数势必压缩。借助知识蒸馏、剪枝和量化,端侧大模型的参数量可以减少到几个B的规模。
当前,很多主流模型厂商如DeepSeek、Meta Llama、IBM Granite都推出了小模型版本,且面向特定任务的性能和测试情况都表现出色。
这意味着大型基础模型可以缩减为体量更小、更轻巧的版本,以达到推理速度更快、内存占用更少、功耗更低,并能保持较高的性能水平。这意味着它们可以更好地在智能手机、PC、汽车、机器人等终端上部署。
AI大模型无法像互联网那样靠规模效应实现成本递减,这是其商业化道路上的最大瓶颈。
训练一个超级大模型要耗费巨大资源,Mythos的训练成本估算就达100亿美元,投入使用后,模型的推理成本将随着日活用户数量及使用频率的增加而攀升。
国联民生证券测算,加上豆包免费C端服务,字节单日成本就高达1.32亿到2.4亿元。云端推理的极高成本,将严重拖延大模型商业化的持续性。
端侧AI可以“以小博大”,即时性高、隐私性强,还可以结合本地数据做更多定制化创新,进一步为开发者降低成本,推动边缘AI商业化落地。
在芯片“摩尔定律”+端侧AI“密度定律”共同驱动下,端侧智能也在加速商业化。
2024年年底,清华大学孙茂松、刘知远团队与开源社区OpenBMB提出“能力密度”的概念,用以衡量大模型单位参数内的智能水平。
密度定律的结论为“大模型的能力密度随时间呈指数增长,约每3.3至3.5个月翻一番”,即“每隔约一百天,只需一半参数量的模型即可达到当前最优性能”。结合半导体领域的摩尔定律,芯片在同等价格下的算力约每两年翻一倍,而模型的能力密度约每一百天翻一倍。软硬路线的共振之下,AI大模型开始向终端设备下沉。

当前,AI手机、AI PC都在加速渗透(此类数据存在一定的口径问题)。生成式AI手机渗透率在2025年已达36%,2027年将过半,端侧AI将由高端卖点转为产品标配。AI PC出货占比在2025年已攀升到31%,2029年将成常态。


加上智能汽车、具身智能乃至智能硬件的形态创新,端侧AI时代即将来临。
破局时刻
一只“鸭子”的出现,正在重塑全球物理AI时代和端侧AI的演进。
9月3日,英伟达豪掷129.3亿美元收购了全球最大AI开源平台Hugging Face。就在一周前,Hugging Face旗下Pollen Robotics发布了一款售价399美元的双足机器人Microduck。
这只高仅25厘米、不到800克的机器鸭,可能已经撬动了端侧AI的ChatGPT时刻——开订24小时订单额破260万美元,高峰期平均每4秒卖出一台。如果有消费者现在去预订,需要6个多月才能拿到货。
Microduck采用开源设计,用户可以自行重新训练,意味着这只机器鸭不是普通的玩具,而是可以不断自我学习。玩家可将训练成果上传Hugging Face Hub,海量设备在真实环境产生的数据,将以近乎零边际成本去推动算法进化。
自ChatGPT问世以来,AI世界的叙事线条一直是更大规模的模型、更强更贵的GPU、更庞大的算力集群。
Microduck搭载的并非英伟达、AMD或高通的高端芯片,而是一颗瑞芯微于2020年开发的中端SoC RK3566。
相比动辄几十万的人形机器人,这样低门槛、全开源、生态丰富的“鸭子”,大幅降低了端侧智能设备的进入门槛。
正如Hugging Face首席执行官Clem Delangue所说,Microduck的推出意味着“价格可负担的开源机器人时代”正在到来,目标是让更多人参与实体AI和世界模型的发展。
在AI PC端,AMD、英特尔、英伟达等芯片巨头加速布局。1月,AMD推出面向Windows 11 AI PC的锐龙AI 400、锐龙AI PRO 400处理器,算力最高可达60 TOPS,可在本地运行大模型。
英特尔在2026 CES展上发布第三代酷睿Ultra处理器,这是首个基于Intel 18A工艺打造的计算平台。
6月,黄仁勋在台北GTC大会上拿出应用于AI PC的超级芯片RTX Spark,该芯片具备1 Petaflop算力,最高128GB内存,可本地运行1200亿参数大模型。今年秋天,华硕、戴尔、惠普、联想等PC大厂就将陆续推出搭载该芯片的产品。
在成本、商业落地可行性、技术演进等多重因素驱动下,AI大模型在未来的演化,可能将逐步分成三大类:
其一就是大众熟知的云端大模型,承担复杂推理、长文本/视频生成与Agent能力,它定义了AI的能力上限;
其二就是行业模型,在金融、医疗、司法等垂直领域拥有专长,服务专业场景,解决AI落地问题;
其三就是我们目前所讨论的重点,端侧模型,其作用在于承接高频、实时、隐私与离线可用的任务,它决定了未来AI的触达密度和广度。
“云端定上限、行业定深度、端侧定入口”的分层协同,已经愈发明显。
中国样本
AI大模型演进趋势之下,中国端侧AI也迎来爆发奇点。
主要玩家中,面壁智能定位纯端侧模型基座供应商,秉持“以小博大”的理念,试图用自己的模型接管所有智能硬件;豆包手机是字节跳动联合中兴努比亚共同打造,抢占端云协同的超级入口;阶跃星辰将自身定义为原生多模态的终端方案商,主要打造面向汽车和手机的AI大脑;智能驾驶解决方案厂商如地平线等机构,则是软硬一体的智能底座,壁垒在车规级芯片与软硬解耦能力。
这其中,由刘知远联合创办的面壁智能是绕不开的一家企业,公司于2023年下半年做出“反共识”战略判断,放弃千亿级云端基座,全面All in端侧模型,并原创提出“密度定律”。凭借MiniCPM“小钢炮”开源模型,构建端侧模型生态。
9月8日,其开源了新一代“小钢炮”MiniCPM5-2B,参数规模为2B,主打在手机、PC等终端设备本地运行,同时具备较强的Agent能力。
根据这家公司自己的说法,其在AA榜单最新评测中,以23分的综合得分,拿到了全球4B参数以下开源基座模型的第一名,这意味着其仅用了一半的参数量就达到了4B规模模型的能力。

商业落地方面,面壁智能定位独立第三方厂商,目前主要聚焦手机、汽车和具身智能领域。网信办公布的7款手机端侧AI备案名单中,三星“盖乐世AI”的端侧能力就由MiniCPM提供。打入三星供应链,意味着其不仅是首家进入国际手机大厂的国产端侧AI供应商,也是首批备案手机模型企业中唯一一家独立且纯正的端侧模型企业。
此前,这家公司研发的汽车端智能座舱助手cpmGO已随长安马自达MAZDA EZ-60量产落地;具身智能方向,MiniCPM-Robot以1.5B参数切入,已联合乐聚机器人落地展厅导览、园区巡检等场景。
印奇执掌阶跃星辰后,加速向商业化迈进。阶跃星辰似乎更偏向“软硬一体”的全链路。
7月13日,阶跃星辰发布首个大模型原生AI终端品牌STEPX,其号称的原生智能体手机(Agentic Phone)STEPX Neo也同步亮相。印奇的目标是打通基座模型、智能体系统、硬件终端的完整链条,实现“AI+终端”。
此前,阶跃星辰、千里科技、吉利已达成战略结盟,千里科技也和阶跃星辰联合开发了Step AOS的车机版本,号称车端原生智驾基座,将端侧大模型、世界模型、自动驾驶进行了深度融合,未来吉利汽车极有可能首发落地。
大模型厂商中,豆包发展端侧的动作最为激进,最早将触角伸向手机领域。

在首代工程机努比亚M153的试水后,豆包联合中兴努比亚将技术路线从第一代的跨App方案调整为第二代的端侧MCP,试图打造一款真正的原生AI(AI Native)手机。
努比亚NaviX Ultra号称“全球首款量产的AI智能体手机”,它与下载一个豆包APP决然不同,通过语音操作Agent,实现一句话打车、一句话点奶茶,此外还试图给AI装上“眼睛”以感知物理世界。
不过,该手机优先覆盖的仍然是字节跳动旗下产品,也可使用曹操出行等少量第三方应用。由于安全隐患,其Agent功能并未联通支付宝、微信支付等应用。
在C端AI应用角逐中,豆包有足够的用户积累,联合研发AI手机,字节的阳谋是在手机端侧继续夯实豆包的C端用户基数,争取一下端侧AI的市场空间。
智能汽车方案厂商中,地平线围绕智能驾驶和具身智能两大场景展开端侧部署,其优势在于软硬一体,既拥有征程智驾芯片+星空座舱芯片+HSD(地平线全场景辅助驾驶系统),同时研发了面向具身智能的HoloMotion与HoloBrain模型。
德赛西威则力主“端云协同”。现阶段成本过高仍阻碍大模型大规模装车,因此在面向客户多元需求时,德赛西威会匹配不同的芯片算力,并提供差异化解决方案,其中既有轻量化端侧模型,也有全模态Omni模型迭代升级的演进方案。
科大讯飞于9月1日开源了星火X2.5-4B/1.7B两款端侧大模型,均可支持最长100万Token上下文,其落地场景聚焦于“AI办公”,不仅能“断网也能对话”,还强化了处理复杂任务的能力,目标是渗透进企业生产力环节。
写在最后
当大模型竞逐从“百模大战”演变为“头部角逐”,当头部大模型企业抢占资本和市场双重红利后,端侧已经成为AI模型企业关注的另一个焦点方向。
成本低、轻量化、断网可用、更具隐私安全性,都是端侧模型的显著优势,有机会在不远的将来,使其迎来商业化爆发的关键时刻。
至今,端侧AI仍然没有体现出自身的独特价值和存在意义,如前文所说,这种情况会随着大模型功能、作用的逐渐分化而逐步体现出来。
只是,一个独立于所有第三方、以所有硬件企业为假象客户的端侧模型企业,几乎必然会失望于所有潜在客户都会探索打造属于自己的小型端侧模型。从这个层面看以面壁智能为代表的“纯血端侧智能”企业,最终的发展必然受限。
端云协同或将在未来成为趋势,各家大型硬件机构都会探索模型压缩、NPU芯片的持续迭代,端侧逐步支持Omni全模态能力,AI下沉至各类智能硬件。类似这种人工智能能力全面下探之后,AI普惠智能的时代就会越来越近。
9月17日,界面新闻获悉,佳都科技(600728)参股公司宇算星河(广州)科技有限公司(以下简称“宇算星河”)Pre-A轮融资迎来新进展,拟引入多家战略投资者,截至目前已获超亿元融资。投资方包括北京麟阁创投、...
9月17日,界面新闻获悉,佳都科技(600728)参股公司宇算星河(广州)科技有限公司(以下简称“宇算星河”)Pre-A轮融资迎来新进展,拟引入多家战略投资者,截至目前已获超亿元融资。投资方包括北京麟阁创投、清新资本、高捷资本、海珠城发、知识城集团、吉富资本等。据悉,公司目前整体估值已超过10亿元。本轮资金将重点投向天基大模型研发与太空智算业务,加速“天数天算”技术范式的商业化落地。
今年9月,手机行业最显眼的变化之一仍然是折叠。
华为继续做三折叠,苹果也终于拿出了自己的折叠屏手机。厂商还在研究一个熟悉的问题:怎样在有限的机身里,装进更大的屏幕。
另一种变化,发生在屏幕里面。大模型开始离开聊天...
今年9月,手机行业最显眼的变化之一仍然是折叠。
华为继续做三折叠,苹果也终于拿出了自己的折叠屏手机。厂商还在研究一个熟悉的问题:怎样在有限的机身里,装进更大的屏幕。
另一种变化,发生在屏幕里面。大模型开始离开聊天框,进入手机系统。
过去,查资料、订票、安排日程,都要用户自己找App,一步步操作;现在,AI开始尝试接手其中一部分工作。
折叠屏改变的是手机的形态,Agent改变的则可能是人使用手机的方式。
过去的语音助手更像遥控器,比如“打开相机”,只对应一个动作。Agent面对的,是一连串动作,比如“安排下周的复盘会,把材料整理好,再发给参会的人”。AI需要自己判断先做什么、调用什么工具,中途出了问题还要知道怎么继续。
9月14日亮相的搭载豆包手机助手消费者版的努比亚NaviX Ultra,尝试的就是这件事。它把AI放到更靠近系统的位置,希望用户以后拿起手机,不必亲自完成每一步操作。
这听起来并不复杂。真正复杂的是,手机能不能真的把事情办完?
过去两年,模型公司正在寻找聊天框之外的去处。
OpenAI以约65亿美元收购了Jony Ive参与创办的io团队,开始做自己的AI硬件;Google则在Android里继续推进Agent能力,并通过AppFunctions,让Agent可以调用应用里的具体功能。国内也在出现类似尝试,豆包手机助手选择与手机厂商合作,阶跃星辰则推出自己的AI终端体系。
大家路线不同,碰到的问题倒很像:模型已经很会回答问题了,接下来能不能开始干活?
比如订机票。
AI告诉你怎么买票已经不难。真正把票订下来,完全是另一回事。它要知道日期、出发地、乘机人,还要在用户授权下,登录账号、选择航班、填写必要信息,最后再弹窗询问,由用户接管完成支付。
这些都不在聊天框里,却几乎都在手机里。
通讯、购物、地图、日历等大量个人数字服务都集中在手机上。AI要从给建议,走向办实事,手机自然成了下一站。
手机厂商面临的是另一个问题。
芯片更快一点、屏幕更亮一点、相机再进步一点,当然都有价值。但手机发展到今天,这些硬件参数升级,越来越难让每一次换代都有明显区别。
AI提供了新的换机理由。比起“搭载大模型”,用户更容易理解的价值,是有些事情以后可以不用自己一步步操作。
模型公司想让AI进入真实任务,手机公司想找到新的差异。于是,双方一拍即合,这样的深度合作,也能给用户带来更好的体验。
努比亚和豆包手机助手的合作,也可以这么理解。
努比亚负责整机、硬件,豆包手机助手提供模型理解和Agent能力。此前,这套方案已经在努比亚M153工程样机上进行过技术预览。
只是,到了NaviX Ultra,检验标准变了。真正卖给消费者的手机,需要证明“好用,而且能经常用”。
可以想象一个很普通的场景。
一场会议刚结束,你对手机说:“整理刚才的会议录音,生成一份文档,把下周三的复盘会加进日历,再发给参会的人。”
这句话要真正执行下来,其实已经涉及一条不短的链路。
首先,AI得听懂。
NaviX Ultra配备独立AI按键,也支持语音、靠近说话和AI耳机等交互方式。连续对话、自然打断和方言识别这些功能,本质上解决的都是同一个问题:用户正常说话就行,不必先学会怎么跟机器说话。
接下来,AI得开始干活。
它要整理录音,生成文档,创建日程,找到联系人,再把文件发出去。不同步骤背后,是不同的系统能力和App。Agent真正重要的能力还在于,它不仅要会操作屏幕,遇到登录、弹窗、页面变化或者执行失败之后,也要能看懂当前发生了什么,并且知道下一步该怎么办。
记忆解决的是另一个问题。
一个助手如果每次见面都把你当陌生人,大概很难称得上“助手”。如果AI已经知道参会人是谁,也知道用户习惯把会议资料放在哪里,那下次就没必要重新问一遍。用户可以主动让手机记住屏幕上的、或者主动告诉他的信息,并形成记忆,供后续调用。
但知道得越多,权限问题也越重要。
整理一份会议纪要可以自动完成,把它发出去却未必应该自动完成。支付、删除文件、发送消息、读取信息也是一样。
按照努比亚的方案,高风险操作需要用户确认,必要时由用户接管;独立AI按键加入指纹识别,也是为了把唤醒和身份验证放在一起。
Agent手机最难拿捏的地方就在这里:既要足够主动,又不能主动过头。
因此,评价这类产品,只看能做多少事情还不够。更重要的是任务成功率、人工接管次数,以及用户到底需要盯着它多久。
假如AI完成一项任务用了90秒,人手动只需要60秒,AI也未必输了。只要这90秒里用户可以去做别的事,它依然省了人的精力。
反过来,如果AI每走两步就卡住一次,需要用户不断确认、纠错甚至接管,哪怕它只用了40秒,我们也不过是从“手机操作员”变成了“AI监工”。
Agent真正应该节省的,是用户为完成一件事投入的注意力。

这也解释了NaviX Ultra的一些硬件设计。
7100mAh电池对应持续待命,通信增强关系到与智能体交互时的稳定性和连续性,两亿像素传感器除了拍照,也可以成为AI获取视觉信息的入口;独立AI按键则提供更直接的唤醒和鉴权方式。
这些硬件本身都谈不上新鲜。新的地方在于,它们开始围绕“让AI持续工作”这件事重新组合。
至于续航够不够、弱网下稳不稳定、复杂任务的成功率有多高,最终还是得靠实际使用回答。
Agent带来的另一个变化,是用户使用App的方式正在发生变化。
过去,大多数手机任务都要从用户自己操作开始。有需求以后,先找到对应的App,再进入页面寻找功能,填写信息,一步步把事情完成。
Agent出现以后,用户可以先表达自己想完成什么,再由AI帮助完成后面的操作。
比如,“帮我买一张明天下午去上海的票”。
这里用户并没有指定打开哪个App、进入哪个页面。Agent可以根据任务寻找相应服务,完成检索和信息填写,把需要用户决定或者确认的部分再交回来。
机票仍然由航空公司和出行平台提供,外卖仍然来自餐厅和外卖平台,内容也仍然由各类应用承载。变化在于,过去需要用户亲自完成的一部分检索、比较、填写和页面操作,开始可以交给Agent处理。
Google的AppFunctions就在尝试解决类似的问题:开发者可以把日历、笔记、任务管理等应用能力开放给Agent调用。
因此,Agent手机正在重新定义人与手机之间的交互方式。
以往,用户往往需要先想清楚“我需要做哪几步”;现在,可以先说“我要完成什么”,再由Agent帮助调用合适的应用和功能。
Agent逐渐承担更多操作以后,会让手机竞争增加一个新的维度:当用户有一个需求时,会先把任务交给谁?
因为谁先理解了任务,谁就更有机会帮助用户组织接下来的操作路径。
这并不意味着Agent可以完全替用户做决定。
Agent可以替人少做一些操作,但最终的选择权仍然应该留在用户手里。
9月16日,努比亚NaviX Ultra正式开售。据努比亚官方数据,开售1秒销售额突破亿元。
对搭载豆包手机助手消费者版的努比亚Navi X Ultra来说,真正的考验才刚刚开始。
此前停留在工程样机上的“AI操作手机”,如今进入正式销售的旗舰设备,要面对网络波动、应用改版和各种不同的用户使用及场景需求。
而对努比亚来说,更关键的问题,是能不能让用户逐渐习惯把一部分手机任务交给豆包手机助手。
过去十多年,智能手机已经形成了一套非常成熟的使用方式,这套方式不会因为Agent出现就消失。
在雷峰网看来,变化发生在操作它们的人。
用户依然使用熟悉的应用和服务,只是越来越多时候,可以先告诉手机自己想做什么,再让AI帮助完成后面的步骤。
从用户自己操作手机,到Agent帮助用户操作手机,接下来手机竞争的规则也在随之变化,还会多一层竞争:
那就是当用户有一件事情要办时,愿不愿意先把这个任务交给你的Agent。

即日起,努比亚NaviX Ultra将在中兴商城、京东、天猫、抖音、拼多多等各大渠道正式开售,12GB+512GB版本售价5999元,叠加国补后5499元起;16GB+512GB版本6499元,16GB+1TB版本7499元。首销开售7天内下单并完成支付,可享至高24期免息。