走向生产环境
# 4.0 走向生产环境
经过前几个阶段的打磨,你的AI系统已经在开发环境中运行得相当稳定了。评测数据持续向好,Harness Engineering让各组件协同工作,团队对这套系统充满信心。
公司领导看到了成果,决定让这套系统正式上线服务全公司。但从"在你的电脑上跑得通"到"全公司每天都在用",中间还隔着几座大山。
成本:每次调用大模型API都要花钱。100个人同时使用,每月的Token费用是多少?能不能通过微调一个更小的模型来降低成本、提升速度?
部署:系统只在你的笔记本电脑上跑。IT部门问你——怎么部署到服务器上?怎么保证高可用?怎么监控运行状态?
安全合规:安全团队也来了——用户输入会不会泄露敏感信息?模型会不会输出不当内容?系统是否符合行业合规要求?
接下来,你将逐一解决这些问题,让系统从开发环境走进真实的生产环境。
本阶段课时:
| 课时 | 标题 | 说明 |
|---|---|---|
| 4.1 | 用蒸馏让小模型掌握专业能力 | 模型蒸馏实战 |
| 4.2 | 部署模型 | 模型部署与推理服务 |
| 4.3 | 大模型应用生产实践 | 生产环境最佳实践 |
| 4.4 | 大模型应用安全合规 | 安全防护与合规要求 |
编辑 (opens new window)