首页人工智能与机器学习在扩展规模之前,计算智能体人工智能软件解决方案的真实成本……
图片来源: Unsplash

在试点项目结束后扩大规模之前,计算智能体人工智能软件解决方案的真实成本。

-

智能体在投入生产环境之前,看起来可能成本很低。但一旦投入生产,单个工作流程就可能触发多次模型调用、重试、检索任务、工具执行、身份验证、监控事件和人工干预,从而将简单的代币估算变成截然不同的运营成本。人工智能软件解决方案的真正成本体现在围绕模型的基础设施和控制措施上,尤其是在自主性不断提高的情况下。在进行试点规模化生产之前,团队需要对生产环境中将引入的每条执行路径、权限边界、审查周期和治理要求进行成本评估。.

这篇博客描绘了这些隐藏的成本中心,并提供了一个实用的框架来估算从试点经济效益到生产支出的跃升。.

另请阅读: 自动化机器学习如何重新定义数据科学家的角色

供应商定价表未能体现人工智能软件解决方案的最大支出领域。

按席位和按令牌计费的报价仅涵盖推理部分。它们很少涵盖防止代理偏离任务的编排层、工具调用失败时触发的重试逻辑,以及监管机构最终会要求的审计跟踪。如果团队仅根据模型调用次数来建模成本,一旦代理开始为每个任务串联多个工具调用而不是回答单个提示,他们往往会严重低估总支出。.

无人能跳过自主阶梯而不付出代价

企业架构研究将代理的成熟度分为五个阶段,从只读辅助开始,最终达到完全自主执行。今年大多数生产部署仍处于早期阶段,但其预算往往是基于后期自主执行阶段制定的。对已具备写入权限的代理进行后期加装防护措施,成本远高于逐步设计访问权限,因为回滚系统和权限范围的确定会变得紧急而非事先规划。.

每个试点项目预算中都隐藏着三个成本中心

试点预算通常包含计算资源和项目经理的时间成本。正式版预算需要考虑代理底层运行层的成本,而该层又可细分为三个值得尽早定价的经常性支出项目:

  • 基础设施扩展不均衡,无法随着座席呼叫量的增加而提升任务复杂性。
  • 对添加到堆栈中的每个新代理实例进行身份和凭证管理
  • 审查周期会先增大后减小,随着对代理工作成果的信任度提高而增大。

这些项目都不会出现在供应商的初始报价中,但随着推广时间的推移,这三项成本都会悄然累积。.

治理债务的累积速度比技术债务更快

当控制机制滞后于代理的自主性时,治理债务就会不断累积。如果部署的代理拥有过大的权限,一旦团队在生产事故中发现审计跟踪缺失、审批机制薄弱或回滚控制不足,就可能导致代价高昂的补救工作。改造这些机制通常需要对身份、编排、日志记录和应用程序工作流进行更改。而将这些机制构建到原始架构中成本更低,因为可以在生产依赖项累积之前,将每个控制项与代理的决策权限相匹配。.

试点项目到生产阶段的定价框架

在基础模型成本的基础上增加四个类别,可以使估算更加可行:编排和监控工具、每个代理的身份和访问管理、随时间推移而非立即消失的审查和纠正预算,以及与代理决策权限相匹配的治理和审计层。将每个类别单独定价,而不是将其合并到单个 AI 项目项中,可以让财务团队更清晰地了解随着自主性增强,支出都花在了哪些方面。.

常见问题解答

在估算成本时,代理数量比代理复杂度更重要吗?

复杂性比人员数量更能可靠地影响成本。十个处理单步查找的简单代理的成本低于两个跨系统调用多个工具的代理,因为每次调用都会增加单个代理的编排和审核开销。.

治理投资应在部署前多久进行?

治理支出最好与试点项目纳入同一预算周期,避免生产事故的发生。如果团队在第一个月就将审计跟踪和权限范围界定纳入预算,就能避免治理失败后需要承担更高的补救预算。.

吉乔·乔治
吉乔·乔治
Jijo是博客界一位充满热情的新锐作家,他热衷于探索和分享从商业到科技等各种话题的见解。他将学术知识与好奇开放的生活态度巧妙融合,呈现出独特的视角。.
图片来源: Unsplash

必读