首页 > 团体标准 >

ICS03

团体标准

T/CBA 220—2021

远程银行人工智能客服评价指标规范

2021-09-22发布2021-09-16实施

中国银行业协会发布

现行 T/CBA 220—2021

远程银行人工智能客服评价指标规范

Specification for evaluating indicators of AI customer service of the remote banking

公布日期：2021-09-22 发布日期：2021-09-16 实施日期：2021-09-16

所属团体：中国银行业协会标准发布公告

分类信息

国际标准分类 03 社会学、服务、公司(企业)的组织和管理、行政、运输 -> 03.060 金融、银行、货币体系、保险

中国标准分类 -

国民经济分类 J 金融业 -> J66 货币金融服务 -> J662 货币银行服务 -> J6621 商业银行服务

研制信息

起草单位中国银行业协会中国建设银行股份有限公司广发银行股份有限公司中国工商银行股份有限公司交通银行股份有限公司中国邮政储蓄银行股份有限公司中信银行股份有限公司上海浦东发展银行股份有限公司中国民生银行股份有限公司华夏银行股份有限公司平安银行股份有限公司兴业银行股份有限公司北京银行股份有限公司杭州银行股份有限公司

起草人潘光伟刘　峰高　峰张　庚伊贵英李　宽成　星任旭华赵成刚胡冬梅刘　鑫吕　林仲峻锋陈　嘉马铁军周红艳王立华郭丛娜李丹丹刘　梅龙　平赵　磊马　娟熊洪营王爱泽吕盛蕾陈炳基李文娟吴宏恩林　莉袁　倩王　山濮丽佳韩春笋彭修文章剑弘李金龙张　萍梁　毅林秀如张　淼田　多金蕾蕾

范围

主要技术内容 4.1　评价指标的范围 4.1.1　性能指标，用于衡量人工智能客服语音识别及语义理解能力，主要包括语音识别准确率、问题识别率、意图理解准确率等。 4.1.2　运营效果指标，用于衡量人工智能客服在客户体验提升、服务分流等方面的能力，主要包括交互准确率、问题解决率、智能分流率等。 4.2　评价指标的方法 4.2.1　抽样法根据交互样本标注数据推算人工智能客服评价指标的方法。按照GB/T 21664-2008规定，假设事项发生率为50%、绝对误差为1%时，所需的必要样本量为1万。完成样本抽取后，与标注人员对本单位业务流程判定的结果进行对比，一致即为正确。 4.2.2　报表法根据系统运营数据计算人工智能客服评价指标的方法。典型的系统运营数据包括进线量、交互数、客户评价数、转人工进线量。 4.3　评价指标的内容 4.3.1　语音识别准确率 4.3.1.1　指标释义标注有效交互中，语音识别正确的字数在人工智能客服转写总字数中的占比。该指标主要适用于语音交互AI。 4.3.1.2　计算口径 4.3.1.2.1　适用语种主要为中华人民共和国国家通用语言文字（普通话和规范汉字），包含阿拉伯数字及常用英文。在测算时，阿拉伯数字、单独英文字母（如：e缴费、ETC），一个数字或字母按一个文字计算；英文单词（如：card），一个单词按一个文字计算；标点符号不计算在内。注：中华人民共和国国家通用语言文字必须符合《中华人民共和国国家通用语言文字法》的要求。 4.3.1.2.2　计算方法语音识别准确率采用抽样法计算。 4.3.1.2.3　标注有效交互标注有效交互指抽样标注交互中剔除无效语音后的交互。无效语音由标注人员在测听过程中参考判定规则进行判断，详见表1。

适用范围

是否包含专利否

预览模式，未正式公布，仅供预览使用！预览模式，未正式公布，仅供预览使用！预览模式，未正式公布，仅供预览使用！

预览模式，未正式公布，仅供预览使用！预览模式，未正式公布，仅供预览使用！预览模式，未正式公布，仅供预览使用！

预览模式，未正式公布，仅供预览使用！预览模式，未正式公布，仅供预览使用！预览模式，未正式公布，仅供预览使用！

{{ detail.standardStatusName }}

{{ $t('standardDetail.aboutToAbolish') }}

{{ detail.standardNo }}

{{ detail.standardTitleCn }}

{{ detail.standardTitleEn }}

{{$t('standardDetail.filePublishDate')}}：{{ detail.filePublishDate || '-' }} {{$t('standardDetail.publishDate')}}：{{ detail.publishDate || '-' }} {{$t('standardDetail.implementDate')}}：{{ detail.implementDate || '-' }} {{$t('standardDetail.abolishTime')}}：{{ detail.disabledDate || '-' }} {{$t('standardDetail.upcomingAbolishDate')}}：{{ detail.disabledDate }}

{{$t('standardDetail.belongOrg')}}：{{ detail.organName }} {{ file.tagName }}

{{ $t('standardDetail.adminPreviewCn') }}

{{ $t('standardDetail.adminPreviewEn') }}

{{ date }}

{{ getTimelineDisplayTitle(cell.item) }} 当前

{{ meta.label }}：{{ meta.value }}

{{$t('standardDetail.icsNo')}} {{ detail.icsl1Name || '-' }}

{{$t('standardDetail.ccsNo')}} {{ detail.ccss1Name || '-' }}

{{$t('standardDetail.nationalEconomy')}} {{ detail.ccsl1Name || '-' }}

{{$t('standardDetail.draftingUnit')}} {{ part.text }} -

{{$t('standardDetail.drafter')}} {{ drafterText }} -

{{$t('standardDetail.mainContent')}} {{ detail.mainContent || '-' }}

{{$t('standardDetail.scope')}} {{ detail.scope || '-' }}

{{$t('standardDetail.hasPatent')}} {{ detail.isPatentName || '-' }}