百度智能云千帆大模型平台最佳实践百度智能云石宽2024年6月人工智能近年迎来大模型发展的窗口期，拥变革、创新机1950年图灵测试1956年人工智能概念提出1970-1980s第一个AI冬天2014年Google开始开发Alpha系列，在围棋比赛中战胜李世石和柯洁2017年Google提出Transformer2018年OpenAI开发GPT1，主流NLP任务取得SOTA成绩2019年GPT2，几乎媲美人类的表达流畅度2020年GPT3，一致流畅的表达，可以执行计算，甚至写代码2022年底OpenAI公司推出ChatGPT2012年AlexNet在人脸识别比赛中大幅领先其它对手超大规模训练数据、复杂的深层模型和分布式并行训练，造就了这一正在崛起的变革力量算力数据算法2023年3月百度发布文心一言人工智能机器学习深度学习深度学习模型预训练模型预训练大模型预训练大语言模型预训练大模型文心ERNIEGPTPaLM…ChatGPTBard…文心一言大模型小模型特定领域小规模、标注数据轻量级资源配置（小算力）特定领域快速响应与精准判断特定任务、资源受限的实时任务海量无标注数据+小规模标注数据高资源配置（大算力）理解→生成/复杂推理/预测决策通用任务、多任务、复杂任务模型规模提升智能涌现预训练大模型更少的训练数据90%↓更少的算力投入90%↓更短的开发周期85%↓注入少量行业/领域数据进行微调可适应特定场景任务大模型具备了更好的学习泛化、复杂推理与生成能力物理世界到数字世界编程操作到点选操作打通人类语言-机器语言物理交互界面效率低编程交互界面门槛高图形交互界面-GUI空间小对话式交互界面-LGUI效率高、门槛低、无限触达大模型重新定义了人机交互提示词工程PromptEngineering检索增强RAG大模型融合业务执行Copilot自主规划与执行Agent大语言模型v1大语言模型v2知识库大语言模型v3知识库手动编排工作流大语言模型v4知识库手动编排工作流自主任务规划大模型时代AI原生应用开发模式不断演化201320172019.32021.122022.11.302023.3.162023.12023.3.152023.3.242023.6.212023.8.282023.8.312023.9.52023.9.252023.10.172023.11.62023.12.28OpenAI开始布局神经网络语言模型OpenAI推出ChatGPTChatGPT注册用户破亿GPT4发布ChatGPT开放第三方插件OpenAI推出ChatGPT企业版ChatGPT开放语音、图像等多模态功能OpenAI发布GPT-4Turbo和GPTs百度开始布局研发深度学习框架百度推出文心大模型1.0文心大模型3.0百度文心一言启动研发百度文心一言新闻发布会文心大模型3.5文心一言向全社会开放千帆大模型平台2.0发布文心大模型4.0发布AI原生应用开发工作台“千帆AppBuilder”上线文心一言用户规模突破1亿2023.3.27百度智能云千帆大模型平台推出OpenAI发布SORA2024.2.1510余款AI原生应用同期发布百度文心大模型全面升级调用量国内第一AI原生应用知识管理智能创作数据分析代码辅助智能客服智能办公百度搜索百度网盘百度文库如流…【应用调优】千帆AppBuilder·AI原生应用开发平台Agent自主任务规划基础/高级组件工作流编排【模型调优】千帆ModelBuilder·大模型开发平台文心大模型|第三方大模型|轻量级大模型百度智能云千帆大模型工具链【算力调优】GPU算力·百度百舸·AI异构计算平台百度智能云千帆平台打造大模型服务超级工厂多渠道应用分发与集成Agent零门槛的LGUI交互三步即可完成应用创建与分发可编程的完整开发套件工具组件、应用框架全开放工作流编排自主任务规划高级组件代码解释器…知识检索问答RAG生成式数据分析GBI基础组件第三方API数据/知识大模型组件AI能力组件代码块基础云组件拖拉拽式工作流，编排组件实现复杂且可控的任务流程千帆AppBuilderAI原生应用开发平台数据管理全流程工具链数据构建模型精调模型评估&优化推理服务部署Prompt工程数据标注数据回流模型管理Post-PretrainSFT-全量更新SFT-LoRARLHFDPO模型评估快速体验推理加速潮汐调度多算力规格实时监控预置Prompt模版自制Prompt模版Prompt评估Prompt优化模型压缩自动评估人工评估洞察清洗增强旗舰模型最丰富的大模型ERNIE4.0ERNIE3.5轻量级大模型ERNIESpeedERNIELiteERNIETiny垂直场景模型ERNIECharacterERNIEFunctions第三方大模型ChatGLM2Baichuan2XuanYuanLlama2/3Stable-Diffusion……主力模型千帆ModelBuilder大模型开发平台如何更优效价比激发通用大模型能力？如何更优效价比精调行业垂类模型？Howtodo->HowtochooseHowtotrain->Howtorun挑战：效率、成本、性能ExternalKnowledgeRequiredModelAdaptationRequiredHighLowLowHigh大模型推理调用大模型精调优化RAGHybridØ模型选择Ø推理超参设置ØPromptEngineeringØ数据飞轮及效果评估Ø精调及推理部署工具链ØEmbeddingsØVectorDBØRAG+FinetuneØPost-Pretrain2123Prompt能否解决？专业知识不足？外部知识实时性？应用开发4ØCopilotØAgent根据具体场景综合选择合适的应用开发模式0模型能力成本x1x10x100旗舰大模型模型名称上下文长度输入（元/千tokens）输出（元/千tokens）ERNIE4.0ERNIE3.58K8K、128k0.120.0120.120.012通用复杂场景、高级分析与规划定位主力大模型ERNIESpeedERNIELite8K、128k8K、128K免费免费免费免费适用于垂直场景定制训练，如RAG、代码、数学等能力，构建行业模型ERNIETiny8K免费免费更快更实惠，可用于特定场景的自然语言指令调用、或需要在边缘设备推理场景垂类场景大模型ERNIECharacter8K0.0040.008适合游戏NPC、客服对话、对话角色扮演等ERNIEFunctions8K0.0040.008适合对话或问答场景中的外部工具使用和业务函数调用ERNIE4.0ERNIELiteERNIESpeedERNIE3.5ERNIETiny轻量级大模型千帆大模型平台『效价比』更优的模型矩阵平台沉淀不同场景精调样板间场景样板间选择游戏/小说角色扮演作业点评助手英语口语教练推荐Prompt指令模版你是{system_setting}，我是{user_setting}，现在请你按照以上设定和我进行对话。客户原始训练数据集.csv推荐数据增强方法使用ERNIE4.0扩展角色扮演的问答对推荐数据清洗方法清洗角色对话中重复内容、乱符等推荐训练基础模型ERNIE-Character推荐训练方法SFT推荐训练参数迭代轮次：3学习率：0.0003…推荐训练评估方法角色风格化、逻辑连贯等评估维度ERNIE4.0作为AI裁判员自动化评估√√√√√√√案例剖析-游戏/小说角色扮演解决思路难点与问题拟人性不足大模型输出很AI化，不像是真实的人物角色，用户无法投入与其对话人设风格不符大模型角色风格不强化，不完全贴合人设要求，用户反馈容易出戏输出不稳定有一定比例会以错误的人设输出，用户反馈大模型串戏。应用场景：游戏NPC对话、专家咨询、客服对话、虚拟主播等案例剖析-角色扮演场景精调优化SystemPrompt优化：直接调用时在System字段中描绘大模型扮演虚拟角色丰富的人物特点，除了基本信息外还提供更完善角色特点，减轻输出AI化程度和体验不适感，一定程度解决问题1-2SFT精调大模型：采集标注真实场景的角色扮演微调数据、使得大模型输出更稳定、风格更强化，解决线上出现Badcase，解决问题2-3数据洞察：本案例共有数据5120条，共有50个人设数据采集：最好来自于业务场景的真实调用数据，与真实调用分布相符。数据分配相对均衡•质量：重采样高频人设数据•多样性：保证低频人设数据•一致性：测试集和训练集来源一致•泛化性：评估切分一部分训练集不可见的人设测试集采样构建数据去重、清洗训练集均衡采样构建数据分析案例剖析-角色扮演场景微调优化-数据分析与处理请根据以下提示生成《武林外传》中的对话。每个对话应反映角色性格特点、角色间的关系、个人目标、当前情境、心理状态和对话的情感色彩。性格:<角色性格>；角色关系:<角色关系>；个人目标:<个人目标>；当前情境:<当前情境>；心理状态:<心理状态>；情感色彩:<对话情感色彩>；对话示例:<对话>；例子：性格:白展堂：聪明、机智，有时略显自负，自称“白少侠”；角色关系:与同福客栈的所有人都保持着紧密但复杂的关系；个人目标:维护客栈的秩序，同时寻求个人的武学提升；当前情境:客栈中突然出现了一位神秘顾客，引起了轩然大波；心理状态:好奇但略感不安，对新情况保持警觉；情感色彩:谨慎中带有一丝戏谑；对话示例:佟湘玉：“白展堂，你看那位客人，是不是来者不善？”白展堂：“湘玉姑娘，‘来者不善’这词用得太重了，但他确实给了我一种‘不善’的感觉。”请根据此模板完善其他角色的对话内容。角色特征Fewshot示例故事背景信息情感约束种子指令结果过滤指令生成答案生成扩增指令集ERNIE4.0ERNIE3.5文心大模型案例剖析-角色扮演场景微调优化-数据增强（质量、多样性）模型选择本次最佳实践选择ERNIECharacter此模型有如下特点：•支持system字段精调•基于角色数据进行增强训练，风格更为鲜明、一致•角色指令遵循能力更强，推理性能更优训练方法选择训练配置模型选择•SFT微调：全参数精调训练，效果较好但占用资源比较多•LoRA微调：对模型权重矩阵进行低秩更新，训练成本低，训练时间快基础参数，epoch和learningrate等进行简要的调参实验•epoch:迭代轮数。可以根据数据规模适当调整Epoch大小，推荐1-3即可。•learningrate:决定参数更新的速度平台已给出默认推荐值，也可根据经验调整。•maxsequencelength：根据数据分布合适的序列长度，保证训练性能，在角色扮演对话中，涉及多轮对话，对长度要求较高，因此采用8096案例剖析-角色扮演场景微调优化-精调训练根据结果可以看到：无论是人工还是自动打分，使用全量更新训练方法，且训练参数Epoch=3、LearningRate=3e-5的参数配置下效果最优实验1（默认参数）实验2实验3（默认参数）实验4实验配置训练方法LoRASFT全量更新Epoch3333LR3e-46e-43e-56e-5评估结果自动打分3.333.213.432.98人工打分2.122.312.512.29微调前：微调后：案例剖析-角色扮演场景微调优化-效果评估千帆大模型平台Ernie*LIama*StableDiffusion*……模型管理数据管理模型精调模型评估&优化Prompt工程推理服务部署推理服务模型广场体验中心模型服务数据管理模型精调计费配额千帆SDK千帆API管控API服务APIFinetunePretrain模型精调数据集FormatSourceOperatorChat/CompletionPrompt模型调用Ernie*EmbeddingsEmbedding-v1模型EvaluationsServicesToolsAdapterExtensionsClientTrace/DebugCommon全栈APIuOpenAPI（RESTFul），数量76+u开放更多配置&参数高效SDKu标准化封装，核心业务抽象u多语言支持：Python/JS/Go/Javau开发效率提升一倍以上丰富案例u120+个产业级Prompt模板u50+个高质量的行业数据集u内置模型精调样板间u40+个Cookbook的SDK示例基础大模型全流程工具链API-First设计理念低代码高效支持https://github.com/baidubce/bce-qianfan-sdk•Github开源开放•LMOps•适配主流编排框架（langchain/guidance等)•QPS/RPM/TPM限流•Cli/Debug工具•重试/异常处理千帆ModelbuilderSDK提升AI原生应用开发效率https://github.com/baidubce/bce-qianfan-sdk/blob/main/cookbook/awesome_demo/essay_scoringhttps://gitee.com/stonekim/bce-qianfan-sdk/blob/main/cookbook/awesome_demo/essay_scoringhttps://cloud.baidu.com/doc/WENXINWORKSHOP/s/5ltziipsx基于千帆SDK低代码实操案例-作文批改欢迎加入千帆API&SDK微信用户群千帆SDK提供大模型工具链最佳实践，以及优雅且便捷地访问千帆大模型平台https://github.com/baidubce/bce-qianfan-sdk千帆ModelBuilderSDK链接
