走向生产环境
# 4.0 走向生产环境
经过前几个阶段的打磨,AI系统已经在开发环境中运行得相当稳定了。评测数据持续向好,Harness Engineering让各组件协同工作,团队对这套系统充满信心。
公司领导看到了成果,决定让这套系统正式上线服务全公司。但从"在电脑上跑得通"到"全公司每天都在用",中间还隔着几座大山。
成本:每次调用大模型API都要花钱。100个人同时使用,每月的Token费用是多少?能不能通过微调一个更小的模型来降低成本、提升速度?
部署:系统只在笔记本电脑上跑。IT部门问——怎么部署到服务器上?怎么保证高可用?怎么监控运行状态?
安全合规:安全团队也来了——用户输入会不会泄露敏感信息?模型会不会输出不当内容?系统是否符合行业合规要求?
接下来,逐一解决这些问题,让系统从开发环境走进真实的生产环境。
本阶段课时:
| 课时 | 标题 | 说明 |
|---|---|---|
| 4.1 | 用蒸馏让小模型掌握专业能力 | 模型蒸馏实战 |
| 4.2 | 部署模型 | 模型部署与推理服务 |
| 4.3 | 大模型应用生产实践 | 生产环境最佳实践 |
| 4.4 | 大模型应用安全合规 | 安全防护与合规要求 |
# 个人总结
- 生产化是整个 AI 项目里最容易被低估的阶段——技术验证成功只是起点,成本、部署和安全这三座山都得翻过去。
- 成本控制往往是第一个触发点,因为 API 计费会随用量线性增长,上了量之后蒸馏小模型的 ROI 会非常明显。
- 安全合规不能等到上线前再补,最好在设计阶段就把输入过滤和输出审查纳入架构,否则后期改造代价很高。
编辑 (opens new window)