原来还能这么玩？--MoonshotAI案例分享月之暗面许博瑀2024年6月Kimi智能助手AppStore首页官方推荐AppStore免费总榜最高排名第③超高人才密度的世界级团队月之暗面团队囊括语言、视觉、强化学习和基础设施方面的新生代世界级人才极具行业号召力的公司创始人清华大学、卡内基梅隆大学顶尖计算机科学家团队成员主导了很多有世界影响力的工作杨植麟博士创始人RoPEGroupNormalizationTransformer-XL先进视觉技术发明者MoCoShuffleNetDetectron2强化学习和基础设施专家基于关系学习的少样本方法曾研发世界领先深度学习框架35岁以下NLP领域引用最多的中国科学家与两位图灵奖得主合作发表研究成果清华大学本科、卡内基梅隆大学博士「Kimi智能助手」进入用户工作流用户在网络社区分享了Kimi在其工作流中的创造性应用，包括行业调研、音乐创作、会议和播客总结、PPT制作等+麦肯锡分析法+Suno+飞书妙记人人都能作词作曲行业调研快人一步不错过高质量演讲+arXiv网站最新研究速览+PPT五分钟做出第一版+Xmind文件一秒转脑图KimiCommits是一款先进的插件，可利用Kimi大模型的强大功能，轻松生成git提交信息。PoweredbyKimi大模型KimiCopilot网页总结助手PoweredbyKimi大模型哄哄模拟器:24小时，超过60万用户，消耗10亿TokensPoweredbyKimi大模型1.上下文够长（输入、输出）；2.中文理解能力好；3.擅长文章总结、内容提取；我们有哪些优势？1.我怎么用；2.我们怎么用；3.我们的合作伙伴怎么用；怎么用好MoonshotAI？我：一个王者荣耀重度玩家，喜欢收藏皮肤这里，是一个悲伤的故事，我忘了买这个皮肤了我需要一个像这样的皮肤日历！订阅王者荣耀微信公众号使用MoonshotAPI解析公众号内容使用tool_calls发布到日历你需要完成以下文章总结及内容提取的的任务：1.用户会将需要总结及内容提取的文章内容发送给你；2.请先阅读完整的文章内容；3.提取以下信息：“皮肤信息”、“活动信息”、“赛季更新”、“英雄改动”；4.将提取的信息发布至日历；{"hero_name":"刘备","skin_name":"异域游侠","start_date":"2024-06-01","end_date":"2024-06-09","level":"勇者","extra_info":"限定"}同一篇文章，如果包含多项内容，MoonshotAI会自动调用多次toolMoonshotAI：数十个微信群，忙不过来！怎么办？@MoonshotAPI助手MoonshotAPI助手，脑容量很大的助手•包含上万字的知识内容，20KTokensAPI文档、博客、代码•没有使用RAG，完全置于上下文中；•回答靠谱，新手的最爱；MoonshotAPI助手，ComingSoon的一些功能•每日群聊内容总结；•常见问题提取；•多样的内容格式；•服务状态查询；•……{"text":"你好","url":"https://platform.moonshot.cn","image":"https://oss.xxxxx.com/image/xxxxxx","audio":"https://oss.xxxxx.com/audio/xxxxxx",}利用JSONResponse，实现不同类型的消息（文本、图片、语音、URL等）使用不同形式呈现。我们的合作伙伴，也在做企业智能客服“智能客服”好像都已经说腻了企业机密不让放图有什么不一样的吗？我们的合作伙伴，也在做企业智能客服•1v1面客场景；•有通用的规则输入；•也有面对每个客户不同的需求；•……场景简单，但是脑子里的东西不少公司介绍服务准则（什么能说，什么不能说）用户画像（是谁、几岁、性格、爱好）历史订单明细售后服务记录浏览记录最新公告2ktokens30ktokens1ktokens5ktokens3ktokens10ktokens5ktokens全部塞在systemprompt中总共约50ktokens，约100k汉字“每次请求携带tokens都超过50k”“50ktokens＝1.2元”“一天500人，每人问20次，就是12000元”“好贵，而且好慢”ContextCaching6.27开始公测材料QALongContext常见使用模式ContextCaching基本原理公共上下文增量输入输出增量输入输出增量输入输出......公共前缀只付一次费用成本低！响应速度快！ContextCaching使用流程CreateCacheCompletionTTLContextCaching适用场景特别适合于用频繁请求，重复引用大量初始上下文的场景可以显著提高效率并降低费用ContextCaching收费模式**：内测期间，收费细则可能会发生调整类目收费模式单价创建Cachetoken24元/Mtoken存储Cache时长xtoken10元/Mtoken/分钟调用Completion增量token按模型原价收费自动生命周期管理创建使用（自动延长TTL）计费周期使用（自动延长TTL）计费周期未命中缓存自动拉起ContextCaching：不只是省钱30s5s128K请求首Token延迟LongContextxContextCaching让AI产品更容易实现PMF
