处于高度监管行业的企业在尝试部署人工智能时，往往会遇到所谓的“黑匣子”问题，因为人工智能技术通常会自动化任务并产生无法被轻易解释的输出
尤其是银行，正在努力审查机器学习(ML)模型和人工智能软件的透明度和可解释性。这些软件提供了从欺诈检测到资产追溯的各种信息。汇丰银行也不例外，但这家英国银行正在使用软件来帮助其逐渐增强对算法的信任。这些算法容易出现偏差、数据漂移和其他对企业可能构成风险的问题。
在冠状病毒大流行期间，越来越多的消费者开始采用数字服务，在这种情况下，汇丰银行的努力对于增加顾客对其的信任将是至关重要的，汇丰的首席信息官Gavin Munroe说。
“在向他们展示的模型和人工智能之间需要有一个平衡，以便解释我们在使用什么，并且它也应该有我们所需要的正确的质量、血统和最准确的数据，”Munroe告诉记者。“我们认为我们不能在一个没有信任的环境中工作。”
为什么银行在AI方面犹豫不决
银行明白，人工智能可以帮助它们实现自动化、扩充业务和保护客户资产，但如果它们无法解释自己的算法是如何为监管机构、审计委员会和消费者工作的，它们就不会采用这种技术。人工智能中的不信任现象比比皆是，这是由帮助错误信息传播的算法和面部识别中的种族偏见引起的。
在监管机构的密切关注下，金融服务公司对于它们用来支撑业务的技术往往持谨慎态度，因为偏见可能会阻止有资质的人获得贷款。因此，根据Gartner research的数据，2019年只有4%的首席会计官报告使用了人工智能。该公司还发现，79%的企业高管将金融业不愿采用人工智能归因于“对未知的恐惧”。即使当他们确实采用了人工智能时，通常也是用来作为防范欺诈性交易的对冲手段，而不是作为数字产品和服务的加速器。
Munroe表示，在金融领域采用人工智能的关键是信任。他将对人工智能建立信任的重要性，比作了汽车安全带、速度计和其他安全功能的增加。“如果不加以控制，你就会在组织中承担很多固有的风险，”Munroe补充道。“我们无法允许数据模型中存在固有的偏差。”
由于消费者希望在大流行期间消费更多的数字化服务，因此建立信任将变得尤其重要。汇丰发现，通过WhatsApp和微信等社交媒体服务、点击支付和其他非接触式技术进行的交易已经有所增加。必须密切监控此类服务的使用情况，因为随着越来越多的资金开始通过银行的数字足迹流动，将会有更多的欺诈曝光，Munroe说。其中包括了从典型的信用卡欺诈到涉及COVID-19检测的虚假交易的机会主义诈骗，Munroe补充说。
为AI部署护栏
为了帮助汇丰验证其人工智能模型，并为其提供的数字服务提供支撑，Munroe正在使用来自CognitiveScale的软件，后者的Cortex Certifiai软件专注于降低商业风险。CognitiveScale的执行主席Manoj Saxena称，Cortex Certifiai能够帮助公司解释机器所生成的预测，并揭示底层数据类型、数据集、ML模型和AI开发过程中的偏差，他将该解决方案描述为一种人工智能的测量工具，可以充当可信赖AI的超文本传输协议。
Saxena曾在2007年至2014年领导IBM Watson解决方案，他说该软件还将有助于识别“数据漂移”，即通知ML模型中所包含的数据信号是否会随着时间而变化。自COVID-19疫情爆发以来，数据漂移已经成为了一个重大问题，因为客户的购买模式已经转变为在线购买，从卫生纸到个人防护设备的任何物品的购买量都大幅飙升，迫使零售商必须面对供应链的挑战。这些不断变化的动态正在产生新的数据，而这些数据必须被纳入到模型当中。
银行在这方面处于不利地位，因为它们目前的人工智能模型正急于考虑新消费者模式所产生的数据。Munroe举例说，如果一个人在大流行封锁之前从未在网上购物，但突然在亚马逊上购物了，这就会在该行的欺诈检测系统中发出信号。
门罗说:“有些模型没有反映出我们和柯维德在一起的现实。”。“但随着数字化应用的持续和加速，会出现什么样的规范呢?”
Cortex Certifiai使用“信任指数”来量化人工智能模型的数值分数，它将帮助汇丰的数据模型解释这些新的行为，这对于满足客户的需求来说是至关重要的。“这是关于当核心决策被委托给机器时，需要如何建立客户的忠诚度和信任，”Saxena说。
CognitiveScale正在广泛的商业案例中应用它的软件。在另一项概念验证中，一家公司正在使用Cortex Certifiai，当他们呼叫交互式语音响应系统时，就可用来将其客户导向正确的支持联系人，Saxena说。
伟大的偏见之战
这一解决方案似乎是为银行量身定做的。尽管银行对能否信任人工智能模型仍心存疑虑，但它们仍在为此类新兴解决方案孤注一掷。
虽然CognitiveScale已经从Norwest Venture Partners、Intel CAPItal、Microsoft Ventures、Westly Group和USAA等投资者那里获得了5000万美元的资金，但无论它是否已经触及了能够为软件行业增值的甜点，对该公司的炒作可能只会被笼罩在其中的怀疑情绪所超越。
研究人工智能可解释性的Gartner分析师Saniye Alaybeyi表示，使用决策树和回归算法的预测模型一直就存在着偏见，尤其是那些包含数千个if/then/else语句的预测模型。“这些都不是新的问题，也都不是神经网络所特有的，”Alaybeyi说。
向人工智能灌输信任的关键是确保软件开发人员在交付给企业之前，能够通过彻底的测试和验证，交付高质量的人工智能模型，她表示。Alaybeyi认为，做好防护栏的规划将是满足所有利益相关者需求的关键。
在这一点上，汇丰银行表示同意。“将风险和合规性纳入我们的文化并不是事后才想到的，”Munroe说，“固有的设计和解决方案也需要内置的控制和透明度。”
