“人工智能”是眼下站在风口浪尖的科技新宠，我们最容易接触他们的方式就是各种聊天机器人，无论是苹果的siri还是微软的小冰，大家都喜欢各种调戏，视频中的方法（手机对手机）是一种实际的测试方法，从笔者的亲测而言，基本上机器人对机器人，仅能对话到3-5句，很明显的会发现眼下人工智能最大的弱项之一“真正的语言能力”。
无论是语音还是文字，跳入跳出、上下文关联等人类交互必备的能力，目前的机器人恐怕都很难做到。然而“服务智能”被预测为人工智能的下一个重量级应用场景，智能机器人在各大企业的客户服务中的应用已经不是什么新鲜事情。作为娱乐，可能我们一笑了之就好，但是作为客服的机器人，是一种生产级的应用的话，太感性的，不可量化的评价是不行的，我们要有客观的、可以量化的指标来衡量我们的客服机器人到底好用不好用。
虽然目前服务智能整体上都磕磕绊绊，不具备真正的语言能力，但既然在商用了，而且机器人客服的服务量几乎会占据我们在线服务量的50%以上，它的质量好坏直接关系到客户对于服务评价，那我们总要有评价体系来评价回答客户问题到底对不对？好不好？有数据，我们才能分析短板，用以提升服务。
从实践来看，用以衡量机器人客服的关键指标几乎不太可能是某一个指标，仅有一个指标你也很难通过它来很自信的说我们的机器人很好用！所以，应该是多维的综合性指标去看待、分析和提升，我们实践的指标体系有五个关键指标，分别是“问题识别率”、“拨测准确率”、“答案满意度”、“服务满足率”和“调研满意度”，具体指标的定义请看下表：
01问题识别率：行业普遍应用的衡量指标
问题识别率是业内主流客服机器人服务提供商或企业的工作逻辑，它指的是机器人能识别出客户的问题数与所有问题数的比例。简单理解，智能机器人的后台逻辑是通过算法把客户的问题、知识标准问法和知识标准答案三者对应匹配关联，从而实现机器人的自动应答，在这个过程中，从客户的千奇百怪的问题或者问法，机器人可以分析语义并寻找到知识标准答案，就算是问题识别对了，也就是给问题识别率加了一分。
业内等知名企业都用这个指标去监控机器人从Q到A的关联能力，基本上，业内主流产品从官方宣传来看，问题识别率基本在93%左右；处于一个较高的水平。而我们从做服务的角度来看，常常会怀疑这个数据，因为从实际的使用效果来看，单一的问题识别率并不能代表答案很满意。
02拨测正确率：笨但更真实的问题识别率
拨测准确率采用的是一种实验的方法，即用一定的公司内部业务管理人员的人力，采取模拟客户问题的方法和机器人实际开展对话，记录结果的正确与否，人工判断机器人回答准确的数量占到总问题数的比例。
这个指标的好处在于，是人脑判断的对错，也是模拟客户的角度去看待对错，所以在样本量越大的情况下，我们认为这个指标越真实。以我们的实践来看，拨测准确率的数据比问题识别率要低3-4个点，即在90%左右的水平。
03答案满意度：迅速完善回答效果的基础
客户是智能机器人的最终使用者，调研客户的满意度也是最贴近真实的评价，可以有两种典型的调研方式：第一，在机器人每回答一个问题的结束都设置一个评价小尾巴，客户对逐条问题都可以选择评价是否满意？是否解决了你的问题？这样做的好处是，积累的数据比较大，可快速定位评分相对低的答案，然后回炉进行优化，类似自提升机制（阿里巴巴就是用这种）；第二，在整体机器人服务完成后弹出窗口进行调研，这样的好处是没有那么频繁的骚扰客户，且评价具有整体性，但是对于具体的提升帮助不够明显。
客户对机器人评分结果，都是对机器人的理解能力、答案调用速度、答案客户化程度等能力的真实评价，这个指标是监控机器人能力又一重点指标，这个指标在应用上一定要注意UIUE的设计，尽量少的骚扰到客户，所以建议不是常态化的用，最好在服务启动的初期和关键点去应用。行业内一般认为在75%的水平就是合理情况，其实笔者认为应该有更高的要求。
04服务满足率：用脚步投票的真实记录
基本上，在线客服的行业的排列模式普遍是“智能机器人+在线人工服务”，机器人在前端解决大部分简单、重复的问题，在机器人回答后则开放引导人工的入口，当客户不满意机器人的答案或者有更高的要求的时候，客户可以有两种选择，第一，通过人工入口，点击进入人工服务；第二，受不了了直接退出拨打同企业的人工服务热线。
“服务满足率”这个指标就是通过客户轨迹监控，客户在进入机器人服务以后，在一定时间内没有点击进入人工在线服务，且没有拨打人工热线服务的比例是多大，也就是说，客户在机器人基本上解决了他的问题，这个指标清晰直观的可以看到客户用脚投票的情况，也可以辅助的反映机器人的解答客户问题能力。
使用机器人最终是为了替代人力劳动，降低人工成本，因此监控客户在机器人上完整解决问题的比例，对于智能机器人客服而言，意义很重大。在业内，基本上没有相关可以参考的行业平均值，我们的情况在85%左右。
05调研满意度：有丰富内涵的常规方法
设计一个调研问卷，用外呼的方式，针对近期接受过机器人服务的客户开展调研，这个方法很常规，这里就不赘述。在一定样本量的基础上，这个数据应该最大概率的贴近客户的真实感知，并且通过设计问卷的细项，我们可以找到具体的客户认为机器人不满的点在哪里，同时加以提升和修正。这个方法虽然很老土，但是很实用；行业不同，调研的内容不同，这个数据的平均参考值也不同，但一般而言，85%会是一个较为合理的衡量标准。
人工智能算法也在飞速的发展当中， 相信在不久的将来，人工智能在客服的应用将远超想象。在目前处于暂不成熟的阶段，建议通过更综合的指标监控，不断的发现问题和解决问题，更充分的监控和不断提升这个新武器的能力。
