未来四年是NLP发展黄金期
发布时间：2019-10-16 09:50:57 作者： 来源：中国银行保险报网
□记者 苏洁
10月12日，由追一科技主办、南京大学计算机软件新技术国家重点实验室协办的“首届中文NL2SQL挑战赛”总决赛答辩暨颁奖典礼在南京大学举行。参加最终决赛的5强选手队伍通过精彩分享、答辩和现场评委考评，决出最终名次。
从大赛层面上看，这是一场技术交流，却在潜移默化中推动技术的落地和应用。
自然语言处理（NLP）成价值洼地
众所周知，人工智能包括三大领域：视觉、语音、自然语言处理（以下简称“NLP”），视觉和语音应用目前已经较为普遍，且覆盖多个行业。随着技术的不断迭代和各方需求的不断增长，NLP技术正成为各个行业争抢的价值洼地。
业内人士将人工智能发展分为这样几类：第一类是直接替代人力；第二类是辅助人力提升效率；第三类是用机器去监督人的服务的过程，帮助找出错误，然后去纠正；第四类是用机器去辅导人，对新员工进行辅导，快速掌握业务流程，这是四大方向。这四个方向都在为企业和用户服务。
NLP简单来说，就是将自然语言进行加工处理，让机器“能听懂”人类语言，并和人类开展对话。例如机器能通过和人类的对话中识别出他们某个场景中的具体需求，更快更好地满足他们的需求。目前来看，谷歌、Facebook、微软这些互联网巨头已经在NLP方面有所研究。同时，一些科技公司也开始在NLP上发力。
据了解，NLP应用场景较，目前来看，金融领域对于NLP需求度最高。
NLP跟金融为什么会联系地这么紧密？商业化在金融领域之外,有什么新的领域？
“我们能感知到，目前线下银行的营业厅越来越少，银行的服务已经逐渐从线下转移到了线上，这就需要优质的线上服务，因为金融行业，它的要求会更高。这其中原因在于：首先，银行面临的顾客更多是白领或者金领高资产的人群，对产品要求的难度会更高，会提出更高的要求，对于金融行业来说就要去尝试一些新技术去提升服务水平，优化产品。其次，相对于新零售、酒店这些传统行业来说，中国的金融行业，特别在金融科技浪潮的带动下，有主动尝试新技术落地和新技术探索的欲望，在其他行业则比较少，可以说金融行业在AI的推动上起到了很大作用。” 追一科技CTO刘云峰说道。同时，他认为，未来四年将是NLP发展黄金期。
从语言分析到“随心所欲”调用数据
在AI、区块链、IoT（物联网）、AR等高新技术飞速发展的当下，数据库这一宝库似乎被遗忘在了角落。数据库存储了大量的个人或者企业的生产运营数据，我们每天都会和数据库产生或多或少的交互。
得益于人工智能和NLP的发展，用自然语言生成可执行的SQL（结构化查询语言）语句，通过自然语言自由地查询数据库中的目标数据，进而挖取数据价值，正成为新兴研究领域。
何为可执行的SQL语句？很简单，说说话，就可以“随心所欲”调用所需数据，甚至完成更复杂的“逻辑”式计算。更重要的，数据库开发和应用的舒适度都有望大大提升，这就是NL2SQL（由自然语言处理到结构化查询语言）的魔力。
作为NLP的一个分支，NL2SQL这一任务的本质，是将用户的自然语言语句转化为计算机可以理解并执行的规范语义表示(formal meaning representation)，是语义分析(Semantic Parsing)领域的一个子任务。
通常，我们如果想要查询数据库中的数据，需要通过像SQL这样的程序式查询语言来进行交互，这就需要懂SQL语言的专业技术人员来执行这一操作。为了让非专业用户也可以按需查询数据库，当前流行的技术方案设计了基于条件筛选的专门界面，用户可以通过点选不同的条件来查询数据库。
比如，用户想买一辆价格在一定区间的车辆，通过NL2SQL在繁多的数据库中就可以查找到用户所需的目标车辆，而省去了中间众多的人工查找步骤，节省了大量时间，提高了效率。
“直接用自然语言访问关系型数据库一直是业界梦想”，复旦大学教授肖仰华表示。而随着对大数据价值的重视，这一愿望更变得日益迫切。
据了解，NL2SQL作为新兴的研究领域，在国外发布了相关数据集，但在国内市场，目前还处于起步阶段。此次NL2SQL挑战赛的举办，学界专家、产业界伙伴的支持，通过“产学研”等多方联动，将进一步推动NL2SQL的研究和应用。
“我们做企业服务，做AI推广的时候，很大一个问题是我们的客户不知道AI能解决什么问题，客户这边有一个钉子，但是不知道用什么锤子来砸。但是作为AI公司则是拿着锤子，不知道哪里找钉子。通过这样的比赛我们可以很好地把钉子和锤子匹配在一起，可以很好地把技术找到落地的场景，这是比赛的价值所在。”刘云峰这样比喻，“我们这次比赛，发布了首个中文NL2SQL大规模数据集，有这样一个可以参考的数据集，会让大家一步一个脚印稳步地推进技术发展，能够让技术加速它从论文到工业应用这样一个过程，就好比一把尺子。”
NL2SQL在银行保险领域应用较多
如今，在很多日常应用场景中，用户都会和数据库进行交互，比如订餐、订票、查天气、查报表等等，绝大部分的解决方案也是通过输入条件和点选条件来进行查询。即使部分场景已经进行了技术升级，可以通过对话机器人的方式来进行交互，但其背后仍然是预设了不同的条件入口，而且这些功能模块的开发和维护需要大量的人力资源。如果使用NL2SQL的技术方案，那么用户与数据库之间的距离可以进一步缩短、用户可以更自由地查询更多的信息、表达自己更丰富的查询意图，还可以减轻目前技术方案的繁琐，解放程序员。
业内人士表示，NL2SQL在银行、保险、证券、电商、汽车、地产等数据富矿领域，有很大的应用潜力，可以大大地降低数据库访问和使用门槛，更好地挖掘数据特别是结构化数据价值，让数据库不再“沉睡”。
刘云峰介绍，NL2SQL在保险行业有几类应用：一类是简单的咨询问答。可能大家对保单有一些疑问，可能问一些某某职业、某某疾病能不能投某某保险，这是一些简单的问答。一类是保单到期提醒，给保险公司提供一些电话机器人，让这种机器人到时间之后自动提醒用户，保单要到期，要去续费。另外有很多保单的说明文档、说明手册、保单的规范，等等，可能是数据库或者文档的形式存储的，这时候需要启用阅读理解或者NL2SQL的方式去辅助人工去完成这些服务，或者是直接去取代人工完成这些服务。
“以客服为例，对于互联网企业，应用NL2SQL可以解放70%-80%人力，如滴滴、ofo、摩拜这类企业；金融行业人工替代率可以达到60%。”刘云峰说。
“我们相信，随着NLP进入AI领域研究的焦点位置，越来越多场景将被解锁，并激发出创新的应用和商业模式。数据库的创新交互，将拥有巨大的潜力。”刘云峰表示，此次NL2SQL大赛，只是一个起点，期待与更多NLP和AI开发者一起努力，不断探索NLP赋能新秘境。
□记者 苏洁
10月12日，由追一科技主办、南京大学计算机软件新技术国家重点实验室协办的“首届中文NL2SQL挑战赛”总决赛答辩暨颁奖典礼在南京大学举行。参加最终决赛的5强选手队伍通过精彩分享、答辩和现场评委考评，决出最终名次。
从大赛层面上看，这是一场技术交流，却在潜移默化中推动技术的落地和应用。
自然语言处理（NLP）成价值洼地
众所周知，人工智能包括三大领域：视觉、语音、自然语言处理（以下简称“NLP”），视觉和语音应用目前已经较为普遍，且覆盖多个行业。随着技术的不断迭代和各方需求的不断增长，NLP技术正成为各个行业争抢的价值洼地。
业内人士将人工智能发展分为这样几类：第一类是直接替代人力；第二类是辅助人力提升效率；第三类是用机器去监督人的服务的过程，帮助找出错误，然后去纠正；第四类是用机器去辅导人，对新员工进行辅导，快速掌握业务流程，这是四大方向。这四个方向都在为企业和用户服务。
NLP简单来说，就是将自然语言进行加工处理，让机器“能听懂”人类语言，并和人类开展对话。例如机器能通过和人类的对话中识别出他们某个场景中的具体需求，更快更好地满足他们的需求。目前来看，谷歌、Facebook、微软这些互联网巨头已经在NLP方面有所研究。同时，一些科技公司也开始在NLP上发力。
据了解，NLP应用场景较，目前来看，金融领域对于NLP需求度最高。
NLP跟金融为什么会联系地这么紧密？商业化在金融领域之外,有什么新的领域？
“我们能感知到，目前线下银行的营业厅越来越少，银行的服务已经逐渐从线下转移到了线上，这就需要优质的线上服务，因为金融行业，它的要求会更高。这其中原因在于：首先，银行面临的顾客更多是白领或者金领高资产的人群，对产品要求的难度会更高，会提出更高的要求，对于金融行业来说就要去尝试一些新技术去提升服务水平，优化产品。其次，相对于新零售、酒店这些传统行业来说，中国的金融行业，特别在金融科技浪潮的带动下，有主动尝试新技术落地和新技术探索的欲望，在其他行业则比较少，可以说金融行业在AI的推动上起到了很大作用。” 追一科技CTO刘云峰说道。同时，他认为，未来四年将是NLP发展黄金期。
从语言分析到“随心所欲”调用数据
在AI、区块链、IoT（物联网）、AR等高新技术飞速发展的当下，数据库这一宝库似乎被遗忘在了角落。数据库存储了大量的个人或者企业的生产运营数据，我们每天都会和数据库产生或多或少的交互。
得益于人工智能和NLP的发展，用自然语言生成可执行的SQL（结构化查询语言）语句，通过自然语言自由地查询数据库中的目标数据，进而挖取数据价值，正成为新兴研究领域。
何为可执行的SQL语句？很简单，说说话，就可以“随心所欲”调用所需数据，甚至完成更复杂的“逻辑”式计算。更重要的，数据库开发和应用的舒适度都有望大大提升，这就是NL2SQL（由自然语言处理到结构化查询语言）的魔力。
作为NLP的一个分支，NL2SQL这一任务的本质，是将用户的自然语言语句转化为计算机可以理解并执行的规范语义表示(formal meaning representation)，是语义分析(Semantic Parsing)领域的一个子任务。
通常，我们如果想要查询数据库中的数据，需要通过像SQL这样的程序式查询语言来进行交互，这就需要懂SQL语言的专业技术人员来执行这一操作。为了让非专业用户也可以按需查询数据库，当前流行的技术方案设计了基于条件筛选的专门界面，用户可以通过点选不同的条件来查询数据库。
比如，用户想买一辆价格在一定区间的车辆，通过NL2SQL在繁多的数据库中就可以查找到用户所需的目标车辆，而省去了中间众多的人工查找步骤，节省了大量时间，提高了效率。
“直接用自然语言访问关系型数据库一直是业界梦想”，复旦大学教授肖仰华表示。而随着对大数据价值的重视，这一愿望更变得日益迫切。
据了解，NL2SQL作为新兴的研究领域，在国外发布了相关数据集，但在国内市场，目前还处于起步阶段。此次NL2SQL挑战赛的举办，学界专家、产业界伙伴的支持，通过“产学研”等多方联动，将进一步推动NL2SQL的研究和应用。
“我们做企业服务，做AI推广的时候，很大一个问题是我们的客户不知道AI能解决什么问题，客户这边有一个钉子，但是不知道用什么锤子来砸。但是作为AI公司则是拿着锤子，不知道哪里找钉子。通过这样的比赛我们可以很好地把钉子和锤子匹配在一起，可以很好地把技术找到落地的场景，这是比赛的价值所在。”刘云峰这样比喻，“我们这次比赛，发布了首个中文NL2SQL大规模数据集，有这样一个可以参考的数据集，会让大家一步一个脚印稳步地推进技术发展，能够让技术加速它从论文到工业应用这样一个过程，就好比一把尺子。”
NL2SQL在银行保险领域应用较多
如今，在很多日常应用场景中，用户都会和数据库进行交互，比如订餐、订票、查天气、查报表等等，绝大部分的解决方案也是通过输入条件和点选条件来进行查询。即使部分场景已经进行了技术升级，可以通过对话机器人的方式来进行交互，但其背后仍然是预设了不同的条件入口，而且这些功能模块的开发和维护需要大量的人力资源。如果使用NL2SQL的技术方案，那么用户与数据库之间的距离可以进一步缩短、用户可以更自由地查询更多的信息、表达自己更丰富的查询意图，还可以减轻目前技术方案的繁琐，解放程序员。
业内人士表示，NL2SQL在银行、保险、证券、电商、汽车、地产等数据富矿领域，有很大的应用潜力，可以大大地降低数据库访问和使用门槛，更好地挖掘数据特别是结构化数据价值，让数据库不再“沉睡”。
刘云峰介绍，NL2SQL在保险行业有几类应用：一类是简单的咨询问答。可能大家对保单有一些疑问，可能问一些某某职业、某某疾病能不能投某某保险，这是一些简单的问答。一类是保单到期提醒，给保险公司提供一些电话机器人，让这种机器人到时间之后自动提醒用户，保单要到期，要去续费。另外有很多保单的说明文档、说明手册、保单的规范，等等，可能是数据库或者文档的形式存储的，这时候需要启用阅读理解或者NL2SQL的方式去辅助人工去完成这些服务，或者是直接去取代人工完成这些服务。
“以客服为例，对于互联网企业，应用NL2SQL可以解放70%-80%人力，如滴滴、ofo、摩拜这类企业；金融行业人工替代率可以达到60%。”刘云峰说。
“我们相信，随着NLP进入AI领域研究的焦点位置，越来越多场景将被解锁，并激发出创新的应用和商业模式。数据库的创新交互，将拥有巨大的潜力。”刘云峰表示，此次NL2SQL大赛，只是一个起点，期待与更多NLP和AI开发者一起努力，不断探索NLP赋能新秘境。
