现在,有这样一个共识↓
最终能为大模型买单的,还是政企客户!个人用户都想着“白嫖”,只有政企用户才会掏钱买单。
行业老炮儿说:做大模型不难,难的是满足政企客户「情绪价值」!其实,政企客户们的诉求,常年都很稳定,即便在大模型时代也如此↓
❶先进且靠谱能落地的大模型方案 ❷随叫随到的可持续服务这俩指标听起来复杂,实则一点也不简单,特别是第二项。
深谙政企市场打法的老司机浪潮云,早已吃透这两点。昨天,浪潮云在青岛搞出了大动静,发布【海若大模型业务战略】!
这年头,发布个大模型已经不稀罕了,海若大模型早在去年(2023年)已发布,但这次的「业务战略发布」却很有看头!人家不是发个大模型放卫星,而是实实在在来讲干货的↓
干货划重点
1、去年,发布后,我闷头干了哪些牛掰案例?落地情况如何?
2、到今天,我最新产品方案迭代到了什么地步?又做了哪些技术创新?3、未来,我打算怎么干?
一场战略发布会下来,客户和渠道直呼内行。段位太高,直奔着新质生产力而去,精准地卡位政企市场,不愧是最懂政企客户的大模型。
首先,「海若大模型」的定位是行业专属大模型,不是通用大模型。
之前很多大厂卷的是通用大模型,很强大,但是离政企用户落地,还有好几里地。而浪潮云选择行业大模型路径,解决落地问题,精准地卡位政企市场。
目前海若已成功落地的六大行业:政府、医疗、交通、应急、农业、制造。
落地不是一句空话,在每个行业,浪潮云都做出了一大批刚需场景应用。我实在想不出更好的展示方式,因为每个大行业,都包含几十个细分场景,只能说,这一年,海若太能干了↓
掰开每个行业的不同场景,你会发现一个老司机操盘政企市场极为理性务实的态度。
不是为了大模型而模型,看的是加入大模型后,其效果提升明显,能发生“翻天覆地”的变化,让客户有极强的感知。
如今的海若全家桶,可谓兵强马壮,包含了完整的产品体系↓
分布式算力平台、大模型平台、智能体工厂、模型开发平台、模型安全卫士、海若智能体商店。
这其中,有三大技术创新,体现出浪潮云对政企行业的理解,真正做出了符合政企行业需求的大模型。海若关键技术创新❶:采用MoE架构与业界疯狂卷模型参数不同,海若大模型创新地采用了稀疏MoE架构。MoE即“Mixtrue of Experts”,专家混合模型,通俗讲,就是“三个臭皮匠,赛过诸葛亮”。
确切讲,是通过组合多个较小的专家模型,基于门控机制和稀疏方法,让“专家组合”最有效率、最智能地处理问题。
门控网络让输入的数据被分配给最合适的专家模型,稀疏方法则让一部分专家模型工作,一部分休息,从而降低无谓的计算量,提高模型推理效率。
浪潮云充分意识到政企客户对ROI的考量,让客户在行业落地时,用更少的算力和时间做调优或后预训练,部署后,有能力更高的效率进行推理应用。
实战中,采用MoE架构的海若大模型,推理速度比同体量模型快50%以上,这意味着,客户前期采购成本和后续运营成本,都可以大大优化。
海若关键技术创新❷:全面优化RAG大模型训练完后,落地到具体政企项目场景,会遇到很多挑战,如果水土不服,项目分分钟会干砸。
而海若大模型对RAG技术进行了全面优化,通过查询重写,优化上下文,帮助大模型更好理解真实意图,采用融合检索和智能排序,进一步提升精确度与召回率。同时,将企业私有知识库部署在本地化知识库,不放入模型中,也满足客户私有数据不出域的需求。
经过RAG优化后,大模型可以更好的区分生成式问题和确定性问题,信息准确性与实时性大大提高,做到问题精准回答和个性化输出。
海若关键技术创新❸:全链路安全防护对于政企客户来讲,安全性是他们最关注点之一。一方面,海若严格遵从国家法律法规,同时,构建严密的安全防护体系,围绕行业大模型全生命周期,提供全链路安全防护,确保内容可控可审计、数据隐私无泄露、输出结果可信服。
只因为太懂客户!懂客户的业务、懂满足客户情绪价值,可信赖、易落地、可持续。
一、可信赖(Trustworthy):
政企客户希望找到一个能托底可信赖的伙伴,而浪潮云深耕政企数据要素领域多年,有深刻理解和实战经验。
❶案例口碑积累:浪潮云全国有120个云中心,解决本地化部署、数据不出域的问题。长期积累的口碑,让政企客户对浪潮云产生一种天然的信赖感。
❷技术层面保障:海若通过关键技术创新,全链路安全防护,构建行业大模型安全防护体系。
❸权威机构认证和备案:2023年12月5日,浪潮海若行业大模型通过《生成式人工智能服务管理暂行办法》备案,山东省首家备案,合规运营。
中央网信办云计算服务安全评估增强级的数量国内第一,中国云原生安全市场第一。
二、易落地(Easy to implement):大模型落地难?的确,但看看浪潮云的落地速度,那叫一个利索。浪潮云提出了“三个1”标准,实现大模型快速交付:浪潮云政务云已经覆盖的客户,1天交付;浪潮云中心覆盖区域,120+城市,1周交付;客户自有数据中心,1月交付。
够快吧?不过快不是唯一考量标准,浪潮云采用了三步策略,为了确保大模型交付质量。
第❶步:快速交付,开箱即用
浪潮云充分考虑到政企客户的资源现状,对于算力资源空白的客户,提供软硬一体交付,开箱即用。对于已有算力资源希望利旧的客户,则可提供混合交付。海若大模型与业界大量XPU做了适配工作,以满足客户现场各种各样的多元算力环境。
第❷步:专有数据,精调模型
行业大模型直接落地客户私有环境,效果并不是最好的,而且每家政企客户都有自己的“小九九”,希望整点不一样的东西出来。
海若怎么做呢?以医疗行业为例的,前期先灌医疗行业通用数据,此时大模型病历生成准确率只有50%。
接下来落地具体医院,再灌入该医院私有脱敏数据,进行模型精调,病历生成的准确率超过90%。
第❸步:业务驱动,持续迭代
知识会随着时间不短更新,大模型本地化交付之后,同样需要再次训练和调优。
但这种工作,对本地化技术团队来说,存在巨大的挑战。可是,不训练、不调优,大模型就会逐渐“摆烂”。
海若研发了大模型开发平台ModelOps,平台定位全流程一体化,包含数据开发、模型训练、模型部署等,大幅提升数据工程效率和模型训练效率。有了ModelOps,无论浪潮云驻场团队还是客户自有技术团队,都可以轻松地挥动训练和调优的鞭子,让本地化大模型卷起来~
三、可持续(Continuable):
一个政企大模型项目,做完了,就做完了?不,项目交付完毕,才刚刚起步。对于政企客户,如何把大模型用好?出现幻觉怎么办?需要技术支持怎么办?需要调优怎么办?…
浪潮云太懂客户,所以他提出可持续的服务,对,陪伴式服务!
❶三大运行指挥中心辐射全国:
北京、上海、济南,三大运行指挥中心,持续运营。支撑“平台+服务”的模式,持续训练,持续调优,提升行业基模型能力。
同时,结合20年行业经验,持续打造和完善行业Store,每个行业Store发布200-300个典型场景Agent,解决幻觉问题。
❷全国120个云中心,1000+调优工程师:
本地化的人和技术支撑,是政企客户最喜闻乐见的,贴身提供算力、数据、模型训推、迭代、运维等,特殊客户还可以驻场。
一边是行业基础模型的持续提升,一边是细分场景Agent的不断丰富,再辅以本地化技术团队的近身调优。
这样可持续的大模型,才真正让用户放心。
现场围观完浪潮云这场战略发布会,我有一点小感慨。
除了海若本身实实在在的技术亮点、落地应用、TEC战略,更让我感慨的是现场的氛围。
甲方是政企人儿,厂商是ToB范儿,渠道是行业老炮儿。总之,对味儿了。
所以,一群真正懂政企行业的人,与真正有需求的政企客户在一起,搞出真正符合政企行业场景的大模型。
海若大模型,立起来了!
暂无评论内容