CIO们开始重新考虑他们对公有云用于AI和其他工作负载的依赖，对私有云和本地部署环境的兴趣日益浓厚。
数据观测公司Prove AI的CTO Greg Whalen表示，虽然公有云为AI实验提供了灵活部署大量GPU的能力，但随着AI策略的成熟和可预测AI工作负载的确定，CIO们正寻求私有云或本地部署环境来限制开支并保护数据隐私。
Prove AI最近对美国和加拿大的1000名企业领导者进行的一项调查发现，67%的受访者计划在未来12个月内将部分AI数据迁移到非云端环境。调查显示，除了成本可预测性和数据隐私担忧外，迁移的主要原因还包括安全问题和与SaaS环境的云集成挑战。
Whalen说，对于运行稳定AI工作负载的企业来说，通过购买几个GPU或在其私有云提供商处安装几个GPU来节省资金，而不是在公有云中租用时间。他坚称，如果IT领导者能够准确估计他们的需求，那么内部的GPU将会得到充分利用，几乎没有闲置时间。
他说：“如果你真的在进行微调，或者即使你只是想定制一个RAG(检索增强生成)模型，你可能需要连续数小时的GPU计算。”“即使在实际评估模型和运行模型时，你的工作负载也不会非常波动。”
Whalen表示，他很少看到有企业因GPU使用不足而自行运行GPU的情况。
他补充道：“如果有人说，‘你有一个GPU，但你可能只使用它10%的时间’，根据我们的经验，情况并非如此。”“你会发现用它来做很多事情，而且往往大部分工作负载都是训练，这是非常连续的，你是在可预测的时间段内运行的。”
私有云支出增长
虽然Prove AI的调查显示了对本地计算的兴趣，但另一项调查显示，即使在公有云支出以较低速率增长的同时，私有云支出也出现了显著增长。
为网络和安全提供商GTT Communications进行的调查显示，计划在公有云上花费超过1000万美元的企业数量在2024年至2025年间增长了12%。
但根据调查，计划在私有云服务上花费超过1000万美元的受访者比例增长更快，从2023年的36%增长到2024年的43%，再到2025年的54%，这是公有云大额支出者增长速度的两倍。
GTT发现，现在超过一半的AI工作负载位于私有云和本地部署环境的组合中，安全、合规以及AI工作负载的特定需求是寻求公有云替代方案的主要原因。
GTT负责战略和技术采用的副总裁Bastien Aerni表示，监管和合规问题是推动采用私有云或本地部署解决方案的主要因素。许多公司正在将其敏感工作负载转移到私有云，作为支持代理AI和其他复杂AI计划的更广泛的多云和混合策略的一部分，他补充道。
Aerni说：“大多数时候，AI都会涉及到机密数据或业务关键数据。”“那么，关于架构以及工作负载应该是公共的还是私有的，甚至是本地的思考，就成了一个真正的问题。”
他表示，公有云仍然为AI项目提供了最大的可扩展性，并且近年来，CIO们被那里提供的众多额外功能所说服。
“在五年前我与一些CIO的交谈中，他们会提到，‘有很多功能，很多工具，’”Aerni补充道。“现在，当我进行同样的交谈时，他们会说，‘实际上，我现在并不怎么使用那些工具。’他们都在寻找稳定性和可预测性。”
小规模迁移
其他云和AI专家并未看到从公有云的大规模迁移，由于AI的高计算需求，公有云仍在增长。云咨询公司Zoi North America的董事总经理Danilo Kirschner表示，仍有很大比例的企业在使用混合云模型。
他说，虽然正在发生数据回迁，但企业并没有完全放弃公有云。
Kirschner说：“矛盾显而易见：AI工作负载既在推动巨大的云增长，又在同时推动选择性数据回迁，因为市场扩张如此迅速，以至于同时容纳了多种部署模型。”“我们所看到的是从天真的‘一切上云’策略向智能的、针对特定工作负载的决策的成熟转变。”
C4 Technology Services(一家IT人员配置咨询公司)的首席AI官Zac Engler也看到了同样的趋势。
“我们并没有看到从云端的大规模迁移，”他说，“更像是公司正在悄悄地带着它们最有价值的AI工作负载从侧门溜走。”
他补充道，对数据的信任、成本和数据控制又回到了董事会日程上，并影响着AI工作负载运行和数据存储位置的决策。
Engler说：“公有云仍然非常适合进行实验、快速扩展以及在董事会展示中给人留下深刻印象。”“但是，当涉及到专有数据、合规性或不必要的资金消耗时，本地部署和私有设置就开始变得更有意义了。”
