李子青：视觉标签系统在物联网中的应用

上图中科院自动化所生物识别与安全技术研究中心主任、博导李子青

      2010年8月18-19日，第七届高峰论坛(CDTF2010)在北京隆重开幕。

　　李子青：大家好，刚才赵总从宏观角度对物联网进行了解读，我就物联网是什么东西再做一个解释，特别是以一个实例说明我们物联网究竟是什么，跟咱们的生活，特别是跟咱们今天数字电视的主题三网融合这块，如何利用现有架构实现一个应用，并且把这个应用用到高端的比如说公共安全领域当中去。

　　我今天演讲主要涉及这样几个方面，首先我要解释一下基于视觉的，面向视觉感知、传感和理解的所谓的智能视觉物联网，我要介绍一下智能视觉物联网当中核心技术，特别是智能标签系统，然后要以一个三网合一的应用系统为例说明物联网特别是视觉物联网如何在现有平台上取得一些应用。

　　关于物联网是什么东西？我们国家参照了欧盟的和IBM的概念，这个图是从欧盟翻译过来的图，物联网有几个层面，首先最底层是传感器，各式各样的传感器，包括湿度、温度、压力、RFID，我特别强调的是视觉传感。第二层就是这些传感信息信号通过一些数据传输设施平台进行相互之间的连接和传输。第三步是也各种各样传感信息和信号的信息处理，最后是处理后的理解后的信息的应用。

　　什么是智能视觉物联网呢？视觉物联网顾名思义就是前端传感器是由图象和视频传感器构成，这个东西非常重要，比如在人大脑皮层中有相当大一部分，超过一半大脑皮层是用于视觉感知的，我们认为视觉感知是我们认识周遭世界的途径，所以我认为视觉物联网在物联网当中应该是起着非常重要的作用。对于通用的视觉物联网也有四个层面，首先是视觉传感，第二是数据传输，第三是智能信息处理与理解识别，第四是应用。它的主要特点就是利用各类视觉传感器来获得周围我们感兴趣的图象和视频，包括手持设备，包括网络摄象头，包括监控摄象头，包括数码相机，甚至包括网络上各种各样图片，都是我们获得图象和视频信息的来源。其中一个重要的核心技术就是所谓的视觉标签的提取与利用，我们知道RFID有RFID的标签，什么是视觉标签呢？就是对图象和视频当中的内容进行识别、理解和分类。目前应用当中最主要的有三个大类，首先是对人这样一个标签的理解，比如人的身份，其次是对车，比如车牌、车型，还有各种各样的物件，包括超市，包括生活当中各种各样的物件，比如一幅画，就是人车之外的物件。

　　智能视觉物联网重要的就是对人车物贴视觉标签，这个也是类比于RFID这样一个标签来的，我们要通过各种各样的传输网络，对数据进行传输，这些网络包括无线网、因特网、视频网。通过网络的传输与信息处理与分析，建立起跨传感器，跨摄像机，跨时间、跨空间的视觉标签的提取与他们的关联。他们的关联是网络状态下非常重要的特点。如果我们对某一路的监控摄像进行分析的话，还没有形成一个网络的力量，只有在我们对跨一个大范围的视觉信息进行综合识别与融合，与挖掘之后，才能显示出这个物联网的作用。

　　刚才我提到传输，今天我们会议主题之一是三网融合，三网融合其实是对数据进行传输的平台。如何利用各种各样的网络，各种各样的终端，包括移动终端，固定终端以及视频终端进行这样一个信息的处理加工与利用，是我们视觉物联网所要解决的一个重要的问题。

　　现在再说一下视觉物联网当中的一个核心技术，就是用视觉理解的手段给人车或者其他物件贴标签。比如说给人贴标签，给车贴标签，给物贴标签，这个标签包含各种各样的物件的属性，包括它的名称、它的ID，它的颜色，它的身份，它的发生的地点，以及各种各样的属性。我们要利用视觉理解或者图象处理与计算机视觉的技术手段完成实现这样一些功能。视觉标签与RFID标签的区别是什么呢？RFID距离是比较近的，比如刷一个门卡，或者车上有一个RFID一个天线，我们要收费，或者RFID会被别人用，利用视觉标签可以在更远距离对物体进行识别，这是视觉标签和RFID标签之间最显著区别，打破了距离和范围的限制，并且在多个物体同时出现的时候不会出现混淆，因为每个物体应该有一个唯一标签。这个标签是比较虚拟化的标签，他会把这些标签，我们对这些物体，对人车物提取标签之后，会把信息存储到数据库。

　　从他的应用来讲，我们可以根据标签的属性对视觉物联网的应用进行分类，比如面向人的视觉标签系统，他一个最典型的应用就是人脸识别或者是人口管理、身份管理。面向车的视觉标签的系统的应用就是智能交通，识别车牌、车型以及车的速度，以及他是不是违反交通规则。对其他物件标签的应用就应用更广了，比如我们超市每一个物件都会有一个标签。所以，他的应用会包括身份识别，门禁系统，社保身份识别，银行帐户管理，还有电子商务，网络购物等等。智能交通就是交通指挥、车辆违章检测，路口信息监测等等，还有其他物件标签，比如在博物馆会用一些监控摄象头对展品进行监控。

　　下面通过一个实例来说明，刚才大家谈到物联网的时候，更多是从宏观角度，从这样一个设想的角度来谈这样一些架构，其实这个东西可以利用现在的技术应用。我重要讲解的一个实例就是三网融合的人脸识别，什么是三网融合呢？我也是借助广电系统的这个词，但是它确实是包括了电信网、互联网、最后一个电视网我们稍微有点不一样，视频网指的是监控视频网络。这样跟广电系统的三网融合大部分是重合的。

　　电信网是把电信网这样一个平台作为手持设备的传输渠道，互联网可以是无线的，也可以是有线的，把互联网作为一个固定终端的传输起到，视频网把视频信号通过有线和无线方式进行传输。所以，这样一个系统综合了移动终端、固定终端和视频终端实现人的视觉标签系统，对人的身份进行识别。这样的话，从结构来看，我们可以有手持终端，可以有电脑终端，也可以有摄象头，通过无线、有线传输，进行视觉处理服务器进行视觉标签提取和识别。最后，我们会把分析的现场结果，不管是用手机传输的视觉图片或者是通过固定终端进行网络上传得到的图片，或者是从监控视频提取的检控视频，从当中提出的人车物的信息，与目标数据库进行对比，进行进行识别。识别之后，如果我们发现了跟兴趣的人，一些目标人，或者有什么状况的话，我们会做一个提示报警信号。刚才赵总也说了有一个反馈过程，他提到现在由于各种技术的限制，现在不能做到全自动的反馈，但是至少能够帮助人来做一个决策。所以，我们把这个报警信号只是信号的提示，或者某种意义上自动信号，比如你要开门禁的话，这个完全做到识别是没有问题的。

　　我今天早上过来的时候，昨天晚上我把包冉的照片从网上扒下来送到系统，系统服务器在中科院，今天我在一楼大厅给包总拍了一个照片，这个照片就把数据库的几张照片识别出来了。其实这个数据库在什么地方是没有任何关系的，因为现在有无线网，我这个是用全球通，也可以用3G，我马上就要去国外访问，我会把国外参会的人员，像今天一样，把他们照片从网络扒下来放在北京服务器，我会在国外给他们做这个演示。值得指出的就是像这样一个系统，手持式人脸识别系统，特别是三网融合三脸识别系统在国际上是没有的。所以，我们中国在这方面的技术应该是已经达到了国际先进水平，特别是我们已经在北京奥运、上海世博以及深圳边检通关上，以及最近几年在天安门安防上面取得实质应用。但是三网融合人脸识别是我们刚刚做出来的。

　　面向更广泛的，包括车辆和物件的视觉标签系统，我们可以把人车物视觉标签综合起来，能够拓展到其他领域。这个架构其实就是我刚才说的几个架构，首先是传感层，然后是传输层，然后是信息处理层，然后是综合应用层，这样四层的架构。我刚才提到只有把网络力量实现起来之后，才能体现出这个网的价值，我刚才说的视觉标签分析，或者说是视觉标签的提取，如果只是单路的话，它的作用是比较有限的。如何把这个在大范围内实现出综合视觉标签内容的挖掘与关联呢？一个例子就是流动人群行踪挖掘，这个也是从公共安全实际应用中提出来的。假设我们有很多摄象头在各个地点部署，每一个摄象头都对流动人群进行视觉标签提取，识别他的身份，这些摄象头分析的视觉标签信息送到一个中央服务器，我们可以把在不同时间、地点和跨摄像机提取出来的人物从这个数据库当中进行关联和挖掘，从而分析出流动人群的行踪，这样就更能体现视觉物联网的价值。目前的核心技术已经用到了北京奥运，用到了上海世博，用到了边检通关，包括深圳和珠海和北京T3航站楼，大家出入境的时候可以看到两边有这样一个闸机。另外刚才提到在北京天安门，从去年国庆节开始实施，也是对流动人群进行监控。

　　最后总结一下，视觉感知是物联网应用当中一个非常重要的部分，视觉标签系统是视觉物联网的核心技术所在，通过三网融合，我们可以实现视觉物联网的应用，就是物联网的应用并不仅仅是停留在现在这样一个框架的描述上面，我们已经把它变成了一个现实，物联网的应用的话，刚才赵总说是从高端向低端辐射，现在我们主要是应用在高端，包括公共安全，智能交通，人口管理等等一些方面。随着这个技术不断进步，随着这个成本的不断降低，我相信他会渗透到我们生活的方方面面。谢谢大家！