AI运行在B端率先迸发 百度沈抖
11月12日，以“运行来了"为主题的百度环球2024在上海召开。会上，百度个人口头副总裁、百度默认云事业群总裁沈抖分享了百度默认云在大模型产业落中央面的最新停顿，并在企业级AI原生运行开发、大模型开发调优等方面发布一系列全新性能。
目前，百度默认云领有中国最大的大模型产业落地规模。超越六成的央企和少量的民营企业，正在联结百度默认云启动AI翻新。百度默认云千帆大模型平台曾经协助客户精调了3.3万个模型、开发了77万个企业运行、文心大模型日均调用量超越15亿次。
沈抖示意，AI运行正率先在B端迸发。由企业级大模型工程平台、异构算力平台组成的新型AI基础设备，将代替传统云计算，为大模型运行在企业消费劲场景中的规模落地提供关键撑持。
（百度个人口头副总裁、百度默认云事业群总裁沈抖）
2024年，大模型产业落地清楚提速 内行业场景笼罩广度、落地深度等方面都有清楚优化。目前，百度默认云曾经在动力、电力、制造、金融、交通、政务、互联网、教育、电商等数十个行业、几百个场景中落地大模型运行。
在动力电力行业，国度电网正在围绕文心大模型、千帆平台，结合电力行业高品质数据，联结百度共创电力行业大模型基础底座，并在调度、设备、营销等六大专业畛域深化探求。目前，曾经在电力设备运检、供电服务等电力行业外围场景成功成功运行落地。
在餐饮行业，中国最大的餐饮公司百胜中国，基于文心大模型打造了AI默认客服系统，为旗下包括肯德基在内的多个品牌提供服务。百胜中国CTO张雷 目前，AI客服每天能够为百胜中国处置超越15万次 在辅佐人工方面，AI客服能够极速 诉求，辅佐客服更极速、更精准地回复，全体效率提高10%！此外，大模型 实时评价客服服务品质，协助百胜中国进一步优化服务水平。
目前，百度默认云曾经领有中国最大的大模型产业落地规模。已有超越六成的央企和少量的民营企业，正在联结百度默认云启动AI翻新，文心大模型日均调用量超越15亿次。
沈抖以为，AI运行正率先在B端迸发，而“企业级”AI运行少量涌现的面前，是产品服务外形的打破性改革与才干的大幅拉升。
数字人平台为例，全新更新的“文生3D数字人视频”性能，能够大幅优化电商、教育、文旅等行业的内容创作、营销推行效率，大幅降低老本支出。
比如，在电商畛域，过去拍摄制造真人产品推行短视频须要专业团队破费几天时间才干成功。而“文生3D数字人视频”只有一句话，就能生成合乎不同行业场景特征的3D数字人笼统和专业灵动的视频，老本仅有传统方式的1%，上班效率优化超越1倍！
沈抖示意，有数的AI运行，正在从新定义人与数字环球、物理环球之间的交互方式。如今，这些运行曾经深化到企业“研产供销服”的各个环节，并成为企业优化竞争力的关键因素。
千帆平台发布上班流Agent、模型蒸馏两大开发性能
传统的企业业务中，复杂的上班和义务往往适度依赖专家阅历和固有流程，即上班流；即使在数字化系统中，传统上班流性能照旧是没有“大脑”的机械口头，难有实质性的打破。
大模型具有弱小的用意了解和泛化才干，能够充沛了解上班流的目的与外延，相当于一颗会思索的“大脑”；经过与企业上班流相结合，又可以有效处置大模型“幻觉”疑问，加弱小模型“控场才干”，保证复杂义务的决策与口头准确。二者结合，导致了默认时代企业真正须要的“数字员工”。
本次大会，百度默认云千帆大模型平台正式发布“上班流Agent”性能，旨在协助企业极速开收回面向复杂对话场景的AI运行，极速领有专业水平的“数字员工”。经过学习各种企业流程与规范，上班流Agent能够顺应不同岗位职责，极速规模化复制，大幅优化企业运行效率。
以保险行业为例，目前百度默认云正在联结太平洋保险，基于上班流Agent探求、落地车险续保售前数字员工。过去，车险续保的上班指点蕴含少量流程、子流程、文档等外容，低劣开售人员稀缺，且造就周期往往长达一到两年。基于上班流Agent开发金牌开售数字员工，则最快可以在1小时内成功、上线，大幅优化了企业车险业务的外围消费劲。这样的上班流 gent可以极速集成到百度搜查、微信群众号、企业官方等业务系统中，便利触达用户。
，由上班流Agent开发的“续保金牌开售”，已在百度默认云
“咱们在通常中发现，行业运行要到达更专业的效果，须要深化模型层面启动定制开发或精调。精调模型的数量肯定水平上反映了大模型与产业结合的深度。这个数量往年增长地特意快，在千帆大模型平台上，每天有超越一半的调用量是来自精调后的模型。”沈抖说。
在医疗行业，杭州全诊医学基于千帆平台和文心大模型打造了AI医疗助理运行，能够在导诊、预诊、诊间、出院、手术、随访等全阶段服务医生患者。以辅佐医生撰写病历为例，全诊医学经过经常使用20万份精标病历数据对大模型启动精调，使AI医疗助理的医学用语更准确、更规范，大幅优化病历内容品质。病历生成的准确度优化了45%， 医生的接诊量提高了20%，造福更多病患。
而针对数据积攒无余，难以承当人工精标数据老本的企业，千帆平台全新推出模型蒸馏处置打算，协助企业应用文心旗舰级大模型生成专业数据，成功全流程的数据预备上班，减速启动模型精调上班。
以百度电商数字人直播平台“慧播星”为例，经过经常使用文心旗舰模型ERNIE 4.0 Turbo萃取训练数据，生成模型精调数据集，对轻量级大模型ERNIE Lite启动精调，精调后的模型在特定场景中的效果与旗舰模型基本持平，并领有更快的推理速度，老本大幅降低90%。模型上线，数字人直播间的互动率大幅优化11%，带货转化率也成功了极大优化。
大算力治理依然是最大难题
百舸4.0更新十万卡集群跨地区部署才干
大算力是大模型落地的基础条件。为了满足企业落地大模型从集群创立、开发试验，到模型训练、模型推理的全旅程算力需求，百度默认云推出百舸AI异构计算平台 4.0，服务了中国石化、中海石油、长安汽车、上海交通大学、地平线等行业龙头企业和机构，目前已具有了成熟的10万卡集群部署和治理才干。
沈抖示意，为了撑持大模型的进一步高速开展，百度默认云提早规划，是行业内最早打磨10万卡集群才干的厂商之一，并经过技术翻新处置了集群算力供应、跨地区部署两大外围难题。
首先，在算力供应方面，百舸平台兼容昆仑芯、N腾、海光DCU、英伟达、英特尔等国际外干流AI芯片，允许同一智算集群中混合经常使用同一厂商不同代际芯片、不同厂商芯片，最大水平上屏蔽配件之间差异，协助中国企业解脱繁多芯片带来的高溢价和供应链危险。
目前，在万卡规模集群上，百舸能够将两种芯片混合训练大模型的效率折损控制在5%以内，到达业界最上游的水平。未来，“一云多芯”将成为中国企业的肯定选用。
另一方面，10万卡规模超大集群须要占据大略10万平方米空间，相当于13个规范足球场；每天则要消耗大约300万千瓦时的电力，相当于北京市东城区一天的居民用电量。这种关于空间和动力的渺小需求，远超传统机房部署的承载才干，而跨地区机房部署又会给网络通讯带来渺小应战。
经过设计高效的网络拓扑结构，结合模型切分优化和跨地区无拥塞高性能网络打算，百舸能够在横跨几十公里的多机房组成的万卡规模的集群上，将繁多模型训练义务的性能折损控制在4%以内，到达业界最上游水平。
