299/461 本文约1700字 预计阅读时间5分钟
大模型发展得如火如荼,很多人对于里面的原理知识也很感兴趣。但是苦于对晦涩难懂的算法不理解。今天,就着在公司内部分享完之后的机会,分几天时间,把近期学习的一些心得体会也写下来分享给更多人,期望用浅显易懂的语言科普给读者朋友们。
首先,今天咱们来谈谈,大模型目前有的四种玩家形态。
第一种是训练一个基座大模型。目前像我们说OpenAI ChatGPT,谷歌的Gemini,还有Anthropic的Claude,马斯克搞的Grok,包括我们国内的百度、讯飞、商汤、阿里,腾讯、华为等等,他们都有自己的基座大模型。
这个玩法的话一般要求必须得有大量的算力。通常训练一次基座大模型的成本都在几千万美元,所以这种一般的小厂是玩不起的。而且大厂基本上都是囤了不少的算力服务器,有自己的数据中心,那这个东西才可以做。你看像阿里、腾讯、华为,他们同时又去做自己的云服务。所以你可以看到他们囤了这些算力后,就准备好了基础来做基座大模型的训练,这也就是从头训练。
然后这其中有些大厂,及一些研究机构,他们会开源一些大模型,这个开源大模型任何人都可以拿到,然后就可以在这个开源的基座大模型上做二次训练,训练出垂直领域的大模型。
我们刚才说这个开源大模型的发布者其实也属于第一种玩家,第一种玩家他们做了训练之后,他会把这个东西开源出来。开源出来的话,但是目前绝大部分开源大模型,仅仅开源模型权重和推理代码,而训练数据、训练和评估代码这些是没有开源的,比如我们熟知的LLaMA,Qwen,ChatGLM等,最近才听说国外有个研究机构全部开源了,叫做OLMo模型,不过还比较小众。不过,即使是拿到仅仅有模型权重和推理代码的开源大模型,还是帮我们节省了大量的研究时间,接下来就是第二种玩家登场了。
第二种玩家,拿到了这个代码、模型权重的话模型权重也可以理解为模型参数。然后就可以利用开源基座模型,通过喂特定领域的训练数据做模型的精调,这个工作量就是做二次训练,训练出一个垂直领域的大模型。
垂直领域大模型可以做出很多垂直应用,比如在法律,政府客服、旅行规划、企业客服,电商导购,量化交易,教育,工厂的知识库等等领域。我们做这些垂直的大模型,就可以不用那么耗算力了,相对省钱不少。而且这些垂直领域大模型也可以做私有化的部署,保护数据安全。
第三种玩家就是在基座大模型或者领域大模型上面再开发一些应用的APP。就比如说我经常在用一些工具,Sider,Monica,还有一些基座大模型插件,比如说百度文心一言或讯飞星火就里面会有不少插件,画思维导图的,它实际上接的是TreeMind思维导图,流程图绘制接入的是专业的提供商ProcessOn。那么这些工具厂商,它们接入大模型的方式就是做插件,就可以应用大模型能力来自动生成对应的图表,或者其他的一些东西。
除了做插件,还有就是像sider这种,通过接入多种大模型的API,比如ChatGPT、Claude、Gemini的,做一致化的、更好地用户体验,这种公司的产品就明显更偏应用化,就不需要训练模型这种套路。
还有第四种玩家,
就直接用基础大模型开放的这种助手搭建工具来构建自己的助手,并发布到助手市场。这种比较适合没有编程基础的人,可以全民参与。比如说GPT就推出了GPTs store。它其实就是允许用户通过限定一些提示词,再加入一些知识库,可以做出自己的这个应用的AI应用出来。包括讯飞星火的助手,还有智谱清言的智能体。那这些其实都是类似的这种思路,实普通人就都可以去弄,只要有创意,有想法、有点子,它可以催生出很多各种各样的AI应用,满足非常小的、长尾的需求。比如就做一个专门的logo生成助手,小朋友的绘本生成器,或者会议纪要助手。我也在讯飞星火上做了一个助手:叫做“爆款文章标题生成神器”,你可以在讯飞星火的助手中心中搜索到,也可以访问如下链接直接使用:
https://xinghuo.xfyun.cn/desk?botId=2078154
你只要把你的文章正文粘贴到助手对话框中,它就会帮你生成五个好标题,并给出评分和理由,在我有时候一时半会想不出标题的时候,还是可以快速带来灵感的。
好了,以上就是大模型系列知识第一期的分享,如果你想抢鲜看完整PPT,也可以关注后在后台私信“大模型”获取。关于更多大模型知识,欢迎继续关注我,持续分享给你。关于以上,还有什么疑问,欢迎后台留言交流探讨。
暂无评论内容