王海峰:文心大模型训练效率提升到5.1倍 推理105倍

4月16日,以“创造未来”为主题的Create 2024百度AI开发者大会在深圳国际会展中心成功举办。百度首席技术官王海峰以“技术筑基,星河璀璨”为题,发表演讲,解读了智能体、代码、多模型等多项文心大模型的关键技术和最新进展。

自去年3月16日发布知识增强大语言模型文心一言以来,百度不断迭代升级文心大模型,技术创新不断,从知识增强、检索增强,进一步发展出知识点增强;基于更大的算力、更多的数据和更强的算法,依托飞桨平台,从文心3.0、3.5,到4.0,文心大模型能力愈加强大,效果和性能全面提升。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

王海峰表示,智能体是重要的发展方向,会带来更多的应用爆发。智能体是在基础模型上,进一步进行思考增强训练,包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习,进而得到思考模型。智能体的思考模型像人一样,会阅读说明书,学习工具的使用方法,进而可以调用工具来完成任务。

王海峰解读了智能体的思考过程,演示了智能体如何经过思考调用工具。在文心大模型4.0工具版上,提问“我要到大湾区出差一周。想了解一下天气变化,好决定带什么衣服。请帮我查一下未来一周北京和深圳的温度,告诉我出差应该带什么衣服,并整理成表格。”智能体就像人一样,通过思考、规划,把用户需求拆解成多个子任务,首先调用“高级联网”工具来查询天气信息,然后调用“代码解释器”画温度趋势图,根据未来一周的天气情况,选择了合适的衣物,最后对结果进行思考、确认,并自动汇总成一个表格。

从万亿级训练数据中,文心大模型既学到了自然语言的能力,也学到了代码能力,打通从思考到执行的过程。基于文心大模型的这两种能力,百度开发了代码智能体和智能代码助手。王海峰表示:“代码智能体,让大家都能做之前只有程序员才能做的事,人人都可以成为程序员;智能代码助手,则帮助专业的程序员更高效地写出更好的代码,可以说是程序员的AI同侪。”

代码智能体是在“用模型写代码让复杂的任务变简单”,思考模型加上代码解释器,构成了代码智能体。首先,思考模型理解用户需求,经过思考,把完成任务的指令和相关信息整合成提示,输入给代码解释器;然后,代码解释器根据提示,把自然语言表达的用户需求翻译成代码并执行,得到执行结果或者调试信息;接着,思考模型对代码解释器的执行结果进行反思确认,如果正确,就把结果返回给用户,不正确就继续进行自主迭代更新。

王海峰演示了用代码智能体为本次Create大会嘉宾定制邀请函,代码智能体首先理解了邀请函模版内容,然后生成代码并执行,把嘉宾姓名填写到合适位置,新生成的邀请函文件以嘉宾的名字命名,最后输出打包好的多张邀请函。

大会现场,王海峰进一步透露,在模型效果不断提升的基础上,百度进一步构建了上下文增强、私域知识增强、流程无缝集成等能力。目前智能代码助手Comate整体采纳率达到了46%,新增代码中生成的比例已经达到了27%。Comate把代码理解、生成、优化等能力无缝集成到研发流程的各个环节,就像助理一样,帮助提升代码开发质量和效率。Comate展示了帮助工程师接手代码的过程,通过一条简单的指令,就可以快速了解整个代码的架构,甚至是每一个模块的具体实现逻辑,还可以根据当前的项目代码以及第三方代码自动生成满足要求的新代码。

王海峰现场还分享了多模型技术。他表示,在大模型应用落地过程中,效果,效率和成本都很重要。在实际应用中,需要从场景需求出发,选择最适合的模型。一方面,是高效低成本的模型生产;另一方面,是多模型推理。高效低成本模型生产方面,百度研制了大小模型协同的训练机制,可以有效进行知识继承,高效生产高质量小模型,也可以利用小模型实现对比增强,帮助大模型的训练。同时,建设了种子模型矩阵,数据提质与增强机制,以及从预训练、精调对齐、模型压缩到推理部署的配套工具链。高效低成本模型生产机制,助力应用速度更快、成本更低、效果更好。多模型推理方面,百度研制了基于反馈学习的端到端多模型推理技术,构建了智能路由模型,进行端到端反馈学习,充分发挥不同模型处理不同任务的能力,达到效果、效率和成本的最佳平衡。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

除了智能体、代码和多模型技术,文心大模型在其他方面也持续创新,包括基于模型反馈闭环的数据体系、基于自反馈增强的大模型对齐技术,以及多模态技术等。王海峰现场公布,文心大模型4.0的效果持续提升,发布后的半年时间,又提升了52.5%。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的全栈布局,尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到98.8%,相比一年前文心一言发布时,训练效率提升到当时的5.1倍,推理105倍。截至目前,飞桨文心生态已凝聚1295万开发者,服务24.4万家企事业单位,基于飞桨和文心创建89.5万个模型。

王海峰表示,文心一言累计用户规模已达2亿,日均调用量也达到了2亿,高效满足了用户工作、生活和学习需求。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

最后,王海峰介绍了百度AI人才计划的最新进展,百度在2020年提出了5年为全社会培养500万AI人才,目前这一目标已提前达成。他表示,“未来,我们将继续投身人才培养,让人才的点点星光,汇成璀璨星河。智能时代,人人都是开发者,人人都是创造者,让我们一起,创造美好未来。”

本文来自投稿,不代表创造权威IP 赋能创业者——IP百创立场,如若转载,请注明出处:创造权威IP 赋能创业者——IP百创

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2024年4月16日
下一篇 2024年4月16日

相关推荐

  • 又领先行业!卡萨帝铸科技长城,与用户共创C生活场景

    长城,象征着千年文明巅峰;卡萨帝,则代表高端家电的原创科技高峰。今天,卡萨帝在司马台长城剧场中落地C生活场景,宣告高端生活方式的又一次全新启航。 9月27日,“智由AI起,艺从东方来”卡萨帝C生活场景全系引领发布会开启。与以往不同的是,卡萨帝此次打破单向输出模式,邀请用户共同参与发布。现场呈现的不仅是一系列高端产品,更是一个个与用户共创的C生活场景。 【海尔…

    2025年9月28日
  • 2024年真我首款质价比之作 中端颠覆者真我12 Pro系列惊艳亮相

    01 2024年真我首款质价比之作亮相 真我realme副总裁徐起:“过去五年,真我完成了从others迈进全球前十的第一步。下一个五年,真我会继续秉持迎难而上的勇气,全力冲击全球前五,不断用具有惊喜感的产品推动行业发展,让更多年轻人享受超越期待的科技体验。” 2024年2月27日,中国,深圳——真我 realme举行真我12 Pro系列发布会,正式推出真我…

    2024年2月27日
  • 第一批国货彩妆,还没用完

    每个中国女孩的化妆包中,都有一小堆只试过色的国货彩妆。

    2023年5月17日
  • 每人每天补贴超千元!又好又便宜的京东618即将来袭

    5月15日,“京东618惊喜开放日”在北京京东MALL南三环店举行,同步在京东物流亚洲一号广州东莞智能产业园、宿迁京东集团全球客服中心、温州内外贸一体化产业带等多地分会场开启线上直播。京东宣布,又好又便宜的京东618将于5月底正式开启,消费者不仅可以收获每人每天补贴超1000元、白条6期免息等优惠福利,还可参与京东618夏日歌会、六大超级惊喜日等明星IP齐聚…

    2025年5月15日
  • 活动曝光超4.5亿,快手电商「新年新国风」活动助力商家传递国风之美

    为满足广大消费者的消费需求,助力商家把握春节消费增长趋势,1月19日-31日,快手电商推出以“岁末华章,中韵锦衣”为主题的「新年新国风」活动,借势快手商城年货节大促氛围,围绕新中式女装风格,为商家赋能,拉动销售增长。 活动周期内,商家带#新年新国风 话题标签,发布服饰鞋包等好物种草类视频,并挂视频同款小黄车即可参与活动,优质视频有机会获得1W-3W次不等的曝…

    2024年1月25日

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

邮件:939297903@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信