主权生成式人工智能
主权生成式AI
自托管大语言模型（LLM）为何在结构上不可持续
——面向信息系统部门的分析
对于注重关键系统隔离性的首席信息官（DSI）而言，自行托管企业开发者或运营所需的大语言模型颇具吸引力。本文将以DeepSeek V4 Pro（MoE架构、推理能力、1.6万亿参数、490亿激活参数、100万上下文）为例展开分析。其承诺令人心动：数据完全掌控、摆脱API供应商依赖、无限定制化。但在裸机部署的诱惑背后，隐藏着多数组织难以应对的运营现实。以下为您深度解析。
运行的真实成本
一个1.6万亿参数的模型在INT4量化下需要约20块NVIDIA H100 GPU才能运行。云租赁的入门成本约为每月3万欧元，即每年仅计算能力就需36万欧元。但这只是表象。
还需计入人力成本。部署和监控如此规模的推理集群至少需要1.5至2名专职MLOps工程师，在法国每年含附加成本约15至20万欧元。模型更新管理、服务优化（vLLM、SGLang、TensorRT-LLM）、延迟监控、KV缓存管理及扩容时的重新配置，均非易事。
再加上网络层、边界安全、软件许可、用于检查点和备份的NVMe存储。实际总拥有成本（TCO）为每年55至65万欧元——这仅针对单实例且无冗余配置。
架构性单点故障（SPOF）
最关键的痛点在于：模型通过张量并行分布在20块GPU上。若单块GPU故障，整个服务将中断。不存在降级模式，也无部分故障转移。20块GPU的集群在机械层面意味着故障面是传统服务器的20倍。
要达到企业级生产服务最低99.9%的SLA标准，需将基础设施翻倍：配备第二个热备集群，即每月6万欧元的GPU租赁成本，年TCO将突破百万欧元。此时问题已非技术层面，而是战略层面：服务价值是否值得如此投入？
计划性淘汰的边界
基础模型的迭代速度呈指数级加快。DeepSeek V3于2025年初发布，V4仅数月后便问世。每一代新模型都使前代性能显著落后。若DSI为某模型签订三年GPU租赁合同，其投资的资产价值每6至12个月便会减半。
若选择购买硬件（自有裸机方案，8块H100约30至40万欧元），淘汰风险将转化为会计陷阱：资产折旧周期为3至5年，但硬件技术相关性可能不超过18个月。
经济理性主义VS控制本能
面对上述现实，使用托管API（无论是DeepSeek、OpenAI、Anthropic还是新兴欧洲厂商）呈现出截然不同的特征。
从规模看，每月3万欧元的DeepSeek API费用可支持约800至1000万次请求，是自托管可达量的5至10倍。弹性是原生属性：无需预配置、无需预防性过度配置、凌晨3点无闲置GPU。
从SLA看，大型API供应商保证99.9%至99.95%的正常运行时间，配备自动故障转移、全球负载均衡和7×24小时支持。这种韧性水平是任何组织在同等预算下无法内部复制的。
从维护看，边际成本为零：无需补丁、无需模型迁移、无需CUDA版本管理。当DeepSeek V5发布时，只需更改API调用参数即可完成切换。
如何降低API模型风险
需清醒认识：API模型并非无风险。
数据主权是首要关切。提示词和响应通过第三方服务器传输，可能位于欧盟司法管辖区之外。对于敏感数据（医疗、国防、GDPR定义的个人数据），这是实际障碍。但解决方案存在：部分供应商提供欧盟区域专属部署（Scaleway AI、Azure OpenAI法国节点、OVHcloud AI Endpoints），端到端加密结合合同条款（DPA、SCCs）可大幅降低法律风险。
供应商锁定是第二风险。但当前生态系统具有结构性竞争：API在供应商间高度兼容（OpenAI格式已成为事实标准），迁移至其他提供商仅需数小时而非数月。自管理GPU基础设施的锁定反而更具约束性。
价格波动是第三风险。API价格可能变化，但自2023年以来持续大幅下降（不同模型价格降低10至100倍）。市场长期趋势有利于API消费者而非基础设施运营商。
决策矩阵：DSI的权衡框架
| 标准 | 自托管 | 托管API |
|---|---|---|
| 成本可预测性 | 固定但高昂 | 可变但可优化 |
| 主权 | 完全 | 部分（可缓解） |
| 韧性 | 脆弱（单点故障） | 工业化 |
| 模型敏捷性 | 低（迁移成本高） | 即时 |
| 可扩展性 | 有上限 | 弹性 |
| 运营负担 | 沉重（2+名工程师） | 近乎为零 |
| 淘汰风险 | 高 | 无 |
自托管万亿级LLM仅对少数组织具有合理性：那些同时具备严格数据本地化监管要求、持续且海量的推理规模以摊销成本、以及已拥有成熟MLOps团队的企业。
对于其他所有组织（即绝大多数企业），截至2026年，API模型仍是可持续性最强、韧性最高且经济上最理性的选择。DSI的职责并非拥有AI基础设施，而是确保AI以最优价值风险比服务于企业战略。
当前，这一天平明确倾向API一侧。
