710公海寰宇(中国)有限公司-中科院自动化所副所长刘成林教授：模式识别，从初级感知到高级认知
本年10月12日，2021中国人工智能年夜会（CCAI 2021）于成都正式启幕，23位中外院士领衔，近百位学术技能精英共聚西南人工智能新高地，深切出现人工智能学术研究，以和技能立异与行业运用的最新结果。中国人工智能学会副理事长、中科院主动化所副所长/研究员、IAPR/IEEE/CAA/CAAI Fellow刘成林传授发表了题为《模式辨认：从低级感知到高级认知》的演讲，向预会者先容了模式辨认的内在、演化、研究近况以和将来值患上研究的标的目的。
本次演讲起首对于模式辨认范畴做了一个基本的先容，然后阐发了模式辨认的研究近况，先容了一些模式布局理解方面的新进展，末了从联合认知的角度讲了未来有哪些值患上研究的问题及标的目的。
如下是演讲全文，AI科技评论举行了不转变原意的收拾。
1甚么是模式辨认？1.模式辨认的内在
模式辨认或者呆板感知，是人工智能范畴的几个重要分支标的目的之一。人工智能是模仿人的智能，那末模式辨认就是模仿人的感知功效。感知功效是人或者呆板最主要的智能之一，由于人或者呆板要从情况中得到信息，起首要经由过程感知，好比经由过程视觉辨认场景、人物及文字，经由过程听觉跟人交流。生理学或者者认知科学对于感知或者模式辨认的界说是：把得到的刺激，也就是感知旌旗灯号与脑子里所存储的信息举行匹配，从而判定所感知到的是甚么内容。从计较机实现模式辨认的角度，也有一些界说，年夜概可以分成两类：
一类是狭义的，就是按照某种客不雅尺度对于方针举行分类及标志，这里重要是指分类。
另外一类是广义的，就是对于数据中的方针、征象或者事务举行分类或者者描写。这个描写就是一个比力繁杂的感知历程，由于描写现实上要对于模式的布局举行理解。
综合起来，模式辨认的界说就是，研究怎样使呆板模仿人的感知功效，从情况感知数据中检测、辨认及理解方针、举动、事务等模式。
模式辨认的基本流程是用传感器（好比摄像头）获取感知数据（如图象）后，对于图象中的物体举行检测及定位，然后用一个模式分类器判定物体属在哪类，这是一个传统的模式辨认流程。
假如要扩大到描写，就要对于物体内部布局及图象中多个物体之间的瓜葛举行阐发，末了用天然语言句子描写出来。好比下图这个图象，它末了给出的成果多是：“穿火箭队11号球衣的姚明与锻练站于一路”，假如不知道这小我私家是谁，成果多是“两个身高相差很年夜的人站于一路”，这就是一个比力繁杂的模式理解历程。
2.模式辨认的要领演化
模式辨认范畴与人工智能范畴的成长险些开端，从上世纪50年月以来提出了许多要领。咱们看到，1957年最早发表关在模式辨认的论文。50年月到60年月，重要是基在统计决议计划的要领，也就是统计模式辨认。60年月末最先提出句法模式辨认，70年月到80年月，句法模式辨认或者者布局模式辨认都是研究重点，固然统计模式辨认也于不停向前成长。80年月中期，多层神经收集引起了广泛存眷，90年月则最先呈现多种进修要领。
呆板进修于60年月就提出了，最早的呆板进修重要手印式分类器的参数预计（如N.J. Nilsson的Learning Machines一书），但此刻内容更宽泛了。90年月有年夜量的呆板进修要领提出来，也是缭绕模式辨认问题，重要用在模式分类器设计或者者分类器的参数预计，包括90年月比力有代表性的撑持向量机。2000年后还有有更多的进修要领，包括多分类器（集成进修）、多使命进修、几率图模子、迁徙进修等。此刻重要是深度进修要领，可以说是最主流也险些是统治的要领。
模式辨认的要领按模式暗示方式可以分为统计要领及布局要领两年夜类。统计要领基在特性矢量暗示，广义地说，神经收集或者撑持向量机也属在统计要领。布局要领要对于模式举行布局描写，已往几十年一直都于研究，但今朝还有不太实用。统计及布局混淆的要领从80年月最先提患上比力多，这类要领是于布局模子中融入统计属性，如属性图及几率图模子，此刻神经收集与图模子或者者图神经收集联合患上愈来愈多。
模式分类器从功效的角度上来讲，又分为天生模子及判别模子。判别模子方针就是为了把差别种别的模式分隔，重要体贴区别性。天生模子则有点像咱们脑子里的模板匹配或者者特性匹配，好比我瞥见一小我私家，是把这小我私家跟影象中熟悉的人的图象或者特性举行匹配从而辨认出来。存于脑子里的这些图象或者特性，就像一个天生模子。天生模子除了了能用在分类，同时由于它表达了每一一类的特色或者几率漫衍，以是又能用来天生数据。
从模子进修的角度来讲，有关进修要领又分为天生进修或者者判别进修，判别进修是为了提高模子的分类能力，好比神经收集重要是判别进修，而天生进修是为了获得一类数据的暗示模子。
2模式辨认研究近况1.当前主流要领
深度进修（深度神经收集）此刻是模式辨认范畴统治性的要领。深度进修最早提出是于2006年Hinton发表的一篇文章。这篇文章提出多层神经收集的逐层练习要领，降服层数较多时难以收敛的问题。80年月多层神经收集练习的偏差反向流传算法（BP算法）以后，对于跨越五层的神经收集练习难以收敛并且泛化性欠好。逐层练习要领于这方面有了很年夜的改良。初期深度进修重要于语音辨认中取患上乐成，像轮回神经收集 LSTM（是非期影象收集） 也是于2006年提出的，于语音辨认及手写文字辨认中孕育发生了很年夜影响。
基在这类函数映照的方式，只要有年夜量的标志数据练习（预计函数的参数），就能够到达很高的分类机能，甚至跨越咱们人类的辨认能力。
近来十几年，深度进修之以是可以或许取患上巨年夜乐成，重要于在计较能力的晋升，可以用年夜量数据练习神经收集。于 2012 年年夜范围图象分类竞赛（ImageNet）中，用了100多万图象样本练习深度卷积收集，与以前传统模式辨认要领（基在人工特性提取）比拟，分类准确率提高了 10 %以上。这是一个巨年夜的奔腾，由于已往传统要领要提高 1 %都是很坚苦的。
此刻深度神经收集可以或许从图象里主动提取特性，把特性提取及分类器举行结合进修或者端到真个进修，可以或许提取到表达及判别能力更强的特性。深度进修于模式辨认的其他使命上也有很年夜的进展。
好比，物体检测已往认为是一个很难的问题， 90年月末最先人脸辨认技能实用化，就要从图象中检测定位人脸，初期检测要领基在滑动窗分类，精度及速率都必较低。此刻提出的许多基在深度神经收集的两阶段分类或者者一阶段分类的要领，本色上也是把神经收集作为一个两类分类器，于图象差别区域判定它是远景还有是配景区域。此刻深度神经收集借助年夜算力及年夜数据练习，物体检测的精度及速率都有很年夜晋升。
图象支解问题已往也是很难的，这是一个像素分类问题，就是把每一个像素分类到差别的物体或者配景区域。按照差别的需求，此刻提出了所谓的语义支解、实例支解、全景支解等多种有用的要领，都取患了很猛进展。
上面说的检测、支解及方针辨认都是分类问题，此刻一些更繁杂的模式辨认问题，例如图象描写也能够用深度神经收集的端到真个要领实现。
图象描写，就是给定一幅图，用天然语言句子描写这个图象的内容。端到真个要领，就是底层用一个卷积神经收集去提取特性，然后上面加一个轮回神经收集，即 LSTM 神经收集去天生语言。这两个收集举行结合练习，用年夜量图象及语言配对于的数据去练习神经收集，就能够到达比力好的语言描写机能。近来也有一些可注释性更好的深度神经收集要领，把自底向上的物体检测与自顶向下的语言天生模子联合，先检测到许多候选物体区域，然后对于它们举行瓜葛阐发的基础上天生句子。
图象分类、检测、支解以和图象描写等已往都被认为很难的问题，近来不到十年时间，机能都晋升患上很快，并且许多技能于咱们一样平常糊口中已经经被广泛运用，好比智能手机上用到的许多模式辨认技能，包括人脸辨认、文字辨认、语音辨认等，收集图象检索也做患上很是好。
这类数据驱动的神经收集，年夜部门是端到真个模子，是否是就能解决所有的问题？实在这类要领还有有许多不足，还有是有许多问题需要解决。一个问题就是深度神经收集需要标志年夜量数据用在练习，而标志数据的价钱很是年夜。此外，神经收集这类端到真个进修方式，可注释性比力差。人其实不是如许进修的，也不需要许多数据，并且人辨认模式的可注释性比力强。好比，咱们辨认一小我私家不仅能辨认出是谁，还有能注释为何这小我私家是张三还有是李四，这小我私家的眼睛、鼻子、脸，以和举动、身体有甚么特色等都能给出一个具体注释，而此刻的神经收集很难做到。
神经收集的注释能力差也会引起辨认的鲁棒性差，也就是不变性比力差，辨认成果轻易受滋扰。
此刻看一些例子。于许多现实运用中对于辨认的靠得住性要求很是高，有些场所要求辨认成果不克不及堕落，可以有部门拒识（不熟悉）。如手写文字辨认，此刻基在深度进修获得了很高的辨认精度，但还有是会有极少量过错。对于金额单据辨认如许的运用是不答应堕落的，假如能拒识一部门消弭过错，拒识的部门可以交给人工处置惩罚。而深度神经收集的拒识能力比人类要差许多，由于它们基在统计分类，没有布局注释能力，轻易把貌同实异的模式分错。
深度神经收集颠末年夜数据练习后，虽然辨认准确率可能比人还有高，但对于在少部门轻易错之处除了了不克不及够拒识，还有会孕育发生一些稀里糊涂的过错。以下图所示，于匹敌进修的场所，这个熊猫图象加之极少量噪声，获得右侧的图象于人看上去险些没有变化，可是神经收集获得的辨认成果就彻底变了。
像后面这个图象，神经收集描写为“一个小孩拿着棒球棒”，较着是错的，并且逻辑上也欠亨，这么小的孩子不成能拿一根棒球棒；右上角这个交通标记图上只是加了几个黑点，就把它判定成一个限速标记。还有有下面这些图象描写成果也是不合错误的，倒数第二个是一个标记牌，上面贴了一些贴纸，就被认为是一台冰箱。由于深度神经收集没有可注释性，以是它的鲁棒性也很差。
2.布局模式辨认初期进展
上世纪七八十年月风行的句法模式辨认，是但愿用一个语法或者者树布局或者图布局暗示模式，经由过程语法解析或者布局模式匹配举行辨认。这些事情已往很永劫间都没有到达实用化，可是这些思惟对于咱们此刻的研究是颇有开导的。基在笔画匹配的手写汉字辨认于八九十年月以来也有许多研究，包括我本身做的一个事情：由于笔画提取很坚苦，咱们提出一个基在笔画段动态归并及匹配的要领。
基在图的要领，到此刻为止还有是一种主流要领。早于1973年，美国的两名科学家就于 IEEE Transaction on Computers上发表文章，提出Pictorial Structure（图形布局），就是一个物体由多个部件组成，差别部件之间的瓜葛用一个弹簧暗示，这与咱们今天的图布局很相似。
到了2005年，芝加哥年夜学的Felzenszwalb等人用几率图模子实现这类图布局要领，用在人体姿态预计及人脸检测。厥后又成长出判别性的基在部件的模子，这个部件模子暗示了一个物体的多个部件，每一个部件的外形、位置及物体总体外形都用一个几率模子暗示。假如一个物体有差别视角，它的表不雅可能会有很年夜变化，这就用一个混淆模子暗示出来，用在物体检测，取患了很是好的效果。
另外一个影响比力年夜的图要领叫做Constellation Model（星座模子），是加州理工学院提出的。这个模子有一个中央暗示总体外形，每一个部件的位置、标准及外形以一个结合的观点密度模子暗示出来，可以用在物体的检测及辨认。由于它是一个天生模子，可以实现小样本泛化，每一个种别于样本数比力少的环境下，也能够获得比力好的机能。
十几年前还有有一个叫做Image Parsing 的事情，就是把图象中差别的远景区域及配景区域，同一用一个图来描写。于阐发时先采用检测器检测物体及文本区域，孕育发生一些自底向上的假定，然后自顶向下的天生模子来阐发它们的瓜葛。这个事情还有没有效到深度进修，以是它的阐发精度是有限的。
此刻的深度神经收集从数据进修的能力很强，可是可注释性不敷，咱们但愿对于在图象场景阐发如许的问题，可以或许做到可注释同时精度又比力高，可以把传统的布局模子与深度神经收集联合，好比用卷积神经收集提取图象特性，做物体或者部件检测，然后上层用一个布局模子来暗示这些物体或者部件之间的瓜葛。
3.一些最新进展
此刻，图神经收集的进修及推理能力很强，利用很是矫捷，可是需要给定图布局。许多布局模子的进修需要细粒度标注的练习数据，有些也能够实现弱监视进修。还有有一个值患上留意的标的目的，就是有一些布局可注释的神经收集，采用模块化的布局，可主动进修可分化的部件。这里我先容一些近来有代表性的关在布局理解的事情，包括可注释性神经收集、深度图匹配、公式辨认、图象场景理解等，这些标的目的每一个都形成为了一系列的事情。
可注释性神经收集的代表是Hinton等人提出的胶囊收集，收集中的每一个胶囊是一个模块，可以检测物体及部件；并且差别胶囊之间彼此自力，可以辨认图象中堆叠的部件或者者堆叠的物体。
另外一个是近来提出来的组合性神经收集（Compositional Network）, 它是一个近似在两层的“与或者”图暗示，可以把一个物体的差别部件检测出来，并且于部门部件被遮挡的环境下也能检测到。这个模子可以从弱标注的数据进修，只要标注物体的位置，不需要标注部件。于有遮挡的环境下，它的机能较着优在通例的物体检测收集。
图匹配已往几十年一直都有研究，此中有两个要害难题，一个是组合优化，也就是怎样降服指数繁杂度的问题。另外一个就是它的间隔器量，已往是靠人工设计，此刻深度神经收集可以把间隔器量主动进修出来，可是需要年夜量有节点对于应标志的图数据来练习，固然有时可以用合成数据来取代。
布局阐发要领假如用在零样本辨认（把从已经知种别样本进修到的模子用在辨认没有练习样本的新种别）可以孕育发生更好的泛化机能。这是咱们试验室做的基在图的零样本视频分类的事情。由于视频里触及到许多物体及原子举动，咱们用图收集暗示差别物体之间的瓜葛、差别种别之间的瓜葛及物体与举动之间的瓜葛，那末这类布局瓜葛可泛化到新种别上。
数学公式辨认也是很繁杂的布局模式辨认问题，此刻手写公式辨认最佳的要领的总体辨认准确率只能到达百分之五六十。由于一个公式有很长的一串符号，要全数辨认准确很是坚苦。以是采用可注释性的布局辨认模子，能同时辨认及定位公式中的符号。
已往传统的要领就是基在自底向上的字符支解，然后再去做辨认，可是整体辨认精度必较低。前几年主流的要领是用一个端到真个神经收集布局，它的解码器从输入图象直接解码出公式的字符串，但没有字符定位。这类没有字符定位的公式辨认要领，除了非辨认率到达100%，不然是不合用的，由于难以对于过错的部门举行定位及编纂。
图象场景理解也有一些新进展。这个斯坦福年夜学李飞飞研究组的事情从图象与文本之间配准的角度练习一个语言天生模子用在图象描写。场景图的天生，就是把图象里的差别物体及配景区域用一个图暗示出来，每一个节点暗示一个物体或者者一个配景区域，边暗示它们的瓜葛，其布局一目明了。图象处置惩罚的底层用一个卷积神经收集提取特性，检测候选物体上传到图神经收集举行阐发。
咱们把近似的要领用到交通标记图解析。标记图上有许多符号及文字，于驾驶时要找到“我要往哪去”如许的信息，就要理解每一个符号的意思和符号之间的瓜葛。图象文本匹配此刻也是一个比力繁杂的问题，由于图象里的物体挨次与文本里的词挨次纷歧致，以是要学这个配准瓜葛。我试验室同事提出的这是一个自底向上及自顶向下相联合的要领。
视觉问答此刻是一个比力被存眷的问题，就是让呆板看一幅图，对于给出的语言发问从图中找到谜底，有些谜底可以直接从图中找到，有些则可能要使用一些配景常识或者知识。
早几年有些要领也是端到真个要领，好比这个模子有两个阶段，起首用一个神经收集阐发问题的句子，天生一个解题计谋（叫做layout policy），然后这个计谋动态天生一些模块收集，动态地到图象里去找谜底。近来中山年夜学研究组发表一个可注释性视觉问答要领，把问题句子暗示针言义依存树，遍历树的节点从图象中动态寻觅谜底。
总之，此刻基在深度进修的要领，鞭策模式辨认及计较机视觉进步了一年夜步。那末当基在年夜数据练习使患上模式分类机能提高以后，剩下的问题就回到了模式辨认最初想做的模式描写，即模式的布局理解。只有实现了模式布局理解才可能做到靠得住及鲁棒，并且布局理解的要领对于在小样本进修、开放情况顺应、可注释性等城市有很年夜帮忙。
3将来值患上研究的标的目的从近来的一些研究进展可以看出，为相识决繁杂的模式辨认问题，统计与布局模子的混淆、神经收集+布局模子、可注释性神经收集、视觉+语言等研究愈来愈遭到存眷。从中也能够看出，初期许多基在句法模式辨认及布局模式辨认的要领，对于咱们此刻及将来的事情都值患上借鉴，或者者值患上从头掘客。
将来值患上研究的标的目的包括：
（1）布局暗示模子。今朝主流的布局是神经收集+布局（如Graph或者图神经收集），可以扩大到更多布局情势，如树、贝叶斯网等。跨模态进修（如视觉+语言）中往往需要用到布局暗示，而且可联合符号常识。
（2）布局模子进修，包括图匹配器量进修、半监视进修、弱监视进修、开放情况增量进修、小样本进修、范畴自顺应、跨模态进修等。今朝风行的自监视进修可以为布局进修提供预练习特性暗示模子，从而年夜为简化布局模子的进修。
（3）语义理解运用。模式布局理解或者语义理解许多时辰要与运用联合起来，好比智能呆板人或者无人驾驶等，它的感知要与认知慎密联合、与决议计划联合，由于要把视觉信息联合配景常识才能做一个正确判定。
末了呼应一下今天讲的标题问题：从低级感知到高级认知。此刻模式分类，也就是一种低级感知，已经经做患上很是好，但还有有许多问题没有解决，它的鲁棒性、靠得住性、自顺应性、小样本进修泛化等方面还有需要深切研究。到高级感知层面，就是要对于模式举行布局理解，如物体布局理解、场景理解，响应的布局模子暗示、进修、推理等有一系列研究问题；更高级的条理是感知及认知联合起来，就是高级认知，包括语义理解、语义推理、语义运用与决议计划等。
雷峰网(公家号：雷峰网)雷峰网
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
-710公海寰宇(中国)有限公司)
