马克·吐温(Mark Twain)有句名言：“谎言分为三种：谎言、拙劣的谎言和统计数据。”今天，许多CIO对指标也有相同的看法。
指标好坏取决于来源。新兴技术咨询公司Hurwitz Strategies的首席执行官Judith Hurwitz表示，“技术公司经常向咨询或分析公司付费，以根据其产品的最佳特性创建指标。因此，CIO必须谨慎对待以表面价值衡量指标，而且领导者需要了解指标背后的数据。”
指标解读本质上是一种数字游戏，而且，与任何数字游戏一样，它有可能成功或失败。以下是IT领导者易犯的7种KPI及其他关键业务和IT指标错误。
1、不考虑来源
在研究一个指标时，了解指标背后的创建者和数据源至关重要。例如，结果可能基于调查。如果是这样，询问有多少人接受了调查，以及他们在各自的企业中扮演的角色。还要检查这些指标是否基于经过充分验证的方法。
此外，还要考虑指标的目的。它会被用作计划工具吗?如果是这样，它是否有助于确定业务战略、技术选择或其他需求?
2、不配合一线人员
到目前为止，大多数企业已经达到了数据成熟度。商业智能咨询公司Cause + Effect Strategy总裁兼首席执行官John Loury表示，“如果你的公司拥有数据，那么你肯定会利用它并尝试利用分析中的洞察力来推动积极的业务成果。现在是2022年，我们已经过了DRIP——数据丰富，洞察力贫乏(data rich, insight poor)的时代。”
Loury认为，大多数企业并没有充分配合一线业务人员，这些一线人员最终将使用收集到的指标来制定决策和推动行动。因此，他建议在构建分析之前，从所有相关方收集业务需求。这就意味着需要将指标提炼到与推动结果最相关的数据点。
Loury建议IT领导者建立和磨练沟通技巧，以便向团队成员传达基于指标的见解。他表示，“现代CIO和分析领导者需要善于将能够对团队产生最大影响的关键指标汇总在一起，并以对用户有意义并有助于指导团队行为的方式呈现给他们。”
Loury补充道，现在也是CIO让其团队真正了解用户并为其构建量身定制的有效分析解决方案的时候了。他解释称，“数据领导者及其团队争先恐后地构建任何东西，并将其交付给业务团队的时代已经一去不复返。如今的我们正在承受那个时代的结果，团队淹没在各种仪表板中，这些仪表板呈现的海量信息让他们精疲力尽，看似得到了一切，实则一无所获。”
3、忽略所有权、参与和平衡的重要性
指标为所有权和员工参与以及持续改进和流程控制提供了绝佳机会。业务和技术咨询公司Centric Consulting的CIO Paul Gelter表示，“正确解释指标的关键是让整个团队参与进来，并使用指标来共同改进流程。”
在评估指标时，Gelter认为在成本、质量和服务之间取得平衡至关重要。例如，成本指标可以在每个人已完成的工单中进行跟踪，但工单质量可能会因返工/重复工单而降低。此外，服务也可能会受到响应时间、积压和正常运行时间的影响。
4、错误的目标
时间就是金钱，所以不要浪费宝贵的时间来检查不相关的指标。在决定研究哪些指标之前清楚地确定所有目标。在大多数情况下，不支持或反映未来决策选项的指标都是不必要的，更糟糕的是，会分散注意力和浪费时间。
技术和设计工作室L+R的联合创始人Alex Levin建议，完全确定目标后，就可以分配足够的时间来了解导致各个指标波动的因素。接下来，调查各个指标如何相互关联，以及在计划或项目生命周期的不同阶段可能发生的会直接影响被跟踪KPI的因素。
同时，不要通过隐瞒或囤积结论来浪费员工的时间。Levin建议与你的团队分享研究结果，确保每个人都可以使用指标驱动的见解来提高绩效和/或结果。
5、单干
指标研究不应该是一项单打独斗的工作。分析和数据集成平台开发商Qlik的首席执行官Mike Capone建议从一开始就与相关人员合作，以收集和应用有价值的上下文细节。这种协作关系使CIO和IT团队能够对业务中实际发生的事情有正确的理解，以支持短期和长期的运营目标。此外，还建议与C级高管及其他关键企业领导者建立强有力的咨询合作伙伴关系。
6、过分相信数字
适度的怀疑可以防止你踏上通往错误结论的道路。正如上述马克·吐温关于统计数据和谎言的名言一样，收集到的数据本身就可能在某些方面存在缺陷。
事实上，数据可能在许多方面存在缺陷：样本量可能太小，时间尺度可能不正确，或者收集数据的人可能有自己的结论要倡导。ERP软件开发商ECI Software Solutions的首席技术官Brian Winters认为，“在确定数据告诉你的内容之前，确保你完全了解数据的收集方式以及范围内包含的内容非常重要。”
事实上，任何指标都可能产生误导，尤其是在你对数据缺乏很好的整体了解的情况下。Winters指出，“系统指标可能特别具有误导性，因为它们通常只为大型复杂系统的一小部分提供指标。这种狭隘的见解很容易将你引入误区。”
7、无法透过现象看本质
指标虽然通常具有洞察力和价值，但可能无法说明全部情况。事实上，单纯地从表面上看任何指标有时会导致完全错误的结论。数据库软件开发商Speedb的首席执行官兼联合创始人Adi Gelvan解释称，“有时，你必须深入挖掘其他不太明显的指标，以确定实际发生的情况。”
例如，高内存利用率级别读数可能意味着应用程序正在超载内存。但可能存在一些完全不同的问题——也许是一个组件清理内存的速度不够快。这种情况下，进一步调查可以指出真正的症结所在，问题可能根本不在内存中。例如，如果存储引擎在I/O消耗很高的情况下无法有效地将数据转储到磁盘，那么内存将被快速填满并影响系统性能。
为了防止误导性的见解，必须学会批判性地思考，不要立即跳转到看似最明显的结论。随着业务流程和数据架构变得日趋庞大和复杂，很多事情都可能出错，而找到根本原因可能会很棘手。最好的方法就是拥有一支多元化的主题专家团队，以便在做出决定之前进行咨询。
