王海峰:文心大模型训练效率提升到5.1倍 推理105倍

4月16日,以“创造未来”为主题的Create 2024百度AI开发者大会在深圳国际会展中心成功举办。百度首席技术官王海峰以“技术筑基,星河璀璨”为题,发表演讲,解读了智能体、代码、多模型等多项文心大模型的关键技术和最新进展。

自去年3月16日发布知识增强大语言模型文心一言以来,百度不断迭代升级文心大模型,技术创新不断,从知识增强、检索增强,进一步发展出知识点增强;基于更大的算力、更多的数据和更强的算法,依托飞桨平台,从文心3.0、3.5,到4.0,文心大模型能力愈加强大,效果和性能全面提升。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

王海峰表示,智能体是重要的发展方向,会带来更多的应用爆发。智能体是在基础模型上,进一步进行思考增强训练,包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习,进而得到思考模型。智能体的思考模型像人一样,会阅读说明书,学习工具的使用方法,进而可以调用工具来完成任务。

王海峰解读了智能体的思考过程,演示了智能体如何经过思考调用工具。在文心大模型4.0工具版上,提问“我要到大湾区出差一周。想了解一下天气变化,好决定带什么衣服。请帮我查一下未来一周北京和深圳的温度,告诉我出差应该带什么衣服,并整理成表格。”智能体就像人一样,通过思考、规划,把用户需求拆解成多个子任务,首先调用“高级联网”工具来查询天气信息,然后调用“代码解释器”画温度趋势图,根据未来一周的天气情况,选择了合适的衣物,最后对结果进行思考、确认,并自动汇总成一个表格。

从万亿级训练数据中,文心大模型既学到了自然语言的能力,也学到了代码能力,打通从思考到执行的过程。基于文心大模型的这两种能力,百度开发了代码智能体和智能代码助手。王海峰表示:“代码智能体,让大家都能做之前只有程序员才能做的事,人人都可以成为程序员;智能代码助手,则帮助专业的程序员更高效地写出更好的代码,可以说是程序员的AI同侪。”

代码智能体是在“用模型写代码让复杂的任务变简单”,思考模型加上代码解释器,构成了代码智能体。首先,思考模型理解用户需求,经过思考,把完成任务的指令和相关信息整合成提示,输入给代码解释器;然后,代码解释器根据提示,把自然语言表达的用户需求翻译成代码并执行,得到执行结果或者调试信息;接着,思考模型对代码解释器的执行结果进行反思确认,如果正确,就把结果返回给用户,不正确就继续进行自主迭代更新。

王海峰演示了用代码智能体为本次Create大会嘉宾定制邀请函,代码智能体首先理解了邀请函模版内容,然后生成代码并执行,把嘉宾姓名填写到合适位置,新生成的邀请函文件以嘉宾的名字命名,最后输出打包好的多张邀请函。

大会现场,王海峰进一步透露,在模型效果不断提升的基础上,百度进一步构建了上下文增强、私域知识增强、流程无缝集成等能力。目前智能代码助手Comate整体采纳率达到了46%,新增代码中生成的比例已经达到了27%。Comate把代码理解、生成、优化等能力无缝集成到研发流程的各个环节,就像助理一样,帮助提升代码开发质量和效率。Comate展示了帮助工程师接手代码的过程,通过一条简单的指令,就可以快速了解整个代码的架构,甚至是每一个模块的具体实现逻辑,还可以根据当前的项目代码以及第三方代码自动生成满足要求的新代码。

王海峰现场还分享了多模型技术。他表示,在大模型应用落地过程中,效果,效率和成本都很重要。在实际应用中,需要从场景需求出发,选择最适合的模型。一方面,是高效低成本的模型生产;另一方面,是多模型推理。高效低成本模型生产方面,百度研制了大小模型协同的训练机制,可以有效进行知识继承,高效生产高质量小模型,也可以利用小模型实现对比增强,帮助大模型的训练。同时,建设了种子模型矩阵,数据提质与增强机制,以及从预训练、精调对齐、模型压缩到推理部署的配套工具链。高效低成本模型生产机制,助力应用速度更快、成本更低、效果更好。多模型推理方面,百度研制了基于反馈学习的端到端多模型推理技术,构建了智能路由模型,进行端到端反馈学习,充分发挥不同模型处理不同任务的能力,达到效果、效率和成本的最佳平衡。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

除了智能体、代码和多模型技术,文心大模型在其他方面也持续创新,包括基于模型反馈闭环的数据体系、基于自反馈增强的大模型对齐技术,以及多模态技术等。王海峰现场公布,文心大模型4.0的效果持续提升,发布后的半年时间,又提升了52.5%。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的全栈布局,尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到98.8%,相比一年前文心一言发布时,训练效率提升到当时的5.1倍,推理105倍。截至目前,飞桨文心生态已凝聚1295万开发者,服务24.4万家企事业单位,基于飞桨和文心创建89.5万个模型。

王海峰表示,文心一言累计用户规模已达2亿,日均调用量也达到了2亿,高效满足了用户工作、生活和学习需求。

王海峰:文心大模型训练效率提升到5.1倍 推理105倍

最后,王海峰介绍了百度AI人才计划的最新进展,百度在2020年提出了5年为全社会培养500万AI人才,目前这一目标已提前达成。他表示,“未来,我们将继续投身人才培养,让人才的点点星光,汇成璀璨星河。智能时代,人人都是开发者,人人都是创造者,让我们一起,创造美好未来。”

本文来自投稿,不代表创造权威IP 赋能创业者——IP百创立场,如若转载,请注明出处:创造权威IP 赋能创业者——IP百创

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2024年4月16日
下一篇 2024年4月16日

相关推荐

  • 高颜值一见倾心 阿维塔12双动力上市 纯电、增程动力焕新,引领智慧出行新体验

    2024年11月2日(重庆),阿维塔科技宣布,未来智能豪华轿车——阿维塔12双动力正式上市。新车共推出纯电、增程两种动力共六款车型,官方售价26.99万元起;皇家剧院版售价42.99万元。即日起,用户可通过阿维塔App、阿维塔官网、阿维塔小程序以及全国各大城市的门店等官方渠道进行订购,上市即交付。 与此同时,针对本次全新阿维塔12的上市,阿维塔还推出了重磅购…

    2024年11月2日
  • 耐用品质实战之王,REDMI Note 15 Pro+震撼发布,首销 1899元起

    2025年8月21日,REDMI Note 15系列正式发布,在耐摔品质、耐久防水、充电续航、屏幕和外观均实现了全面跃升,为用户带来了耐用品质、实战之王的小金刚。REDMI Note 15 Pro+ 正背双面升级,配备龙晶玻璃 + 超韧玻纤,抗摔性能相比上代提升10倍 ,获得行业首个 SGS 整机高强度防护金标五星认证。通过IP66 & IP68 &…

    2025年8月21日
  • 小米高端化“答卷之作”Xiaomi 15 Ultra 震撼发布,售价 6499 元起

    Xiaomi 15 Ultra 不仅拥有令人叹为观止的光学影像实力,更集小米先锋科技之大成,是实至名归的小米高端化“答卷之作”。 2025 年 2 月 27 日,小米召开《Xiaomi 15 Ultra 暨 Xiaomi SU7 Ultra 新品发布会》,正式推出巅峰影像科技旗舰——Xiaomi 15 Ultra。这款手机集徕卡百年光学精华和小米巅峰科技实力…

    2025年2月27日
  • REDMI Turbo 5 Max 2199元起,顶格满配,一步到位

    2026年1月29日,REDMI召开新品发布会,正式发布 REDMI Turbo 5 系列手机、REDMI Pad 2 Pro 平板以及 REDMI Buds 8 Pro 无线耳机。 Turbo 5系列定位新生代性能旗舰,本次共发布两款机型 Turbo 5和Turbo 5 Max。REDMI Turbo 5 Max 定位Pro之上全新产品,满配性能旗舰。全球…

    2026年1月29日
  • 4大新奇体验!卡萨帝电视首创星闪指向遥控器

    智能电视渗透率节节攀升,行业迎来技术更迭的关键时期。据《2024年智能电视用户洞察白皮书》报告显示,智能电视市场规模稳步增长,激活用户超3亿,渗透率达65%,智能电视已然成为兼具功能和情感价值的家庭多功能中心枢纽。而国产品牌、技术或功能以及智能互联生态成为年轻用户愿意购买智能电视的主要影响因素,其中用户尤其看重智能互联生态中颠覆性的交互体验技术。 交互体验,…

    2024年9月28日

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

邮件:939297903@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信