【视频】腾讯研究院研发“增强实现”应用：让现实插上幻想的翅膀

小张打算趁着周末休息，和朋友们一起去看电影。可是最近的电影那么多，看哪一部好呢？他们开始翻起手边的电影杂志来寻找答案，可是朋友们都说光看杂志上的介绍和评论太单薄了，于是小张拿出自己的手机，打开摄像头，开始拍摄杂志上的《复仇者联盟》的电影海报图片，只见摄像头中的海报突然“活”了过来，开始播放这部电影的精彩预告片，宏大的场面和绚丽的特效让两人立刻就对这部电影有了很直观的印象，朋友们纷纷惊呼“太神奇了！”。有人顺手拿来一本腾讯的杂志说：“试试看拍这个行吗？”小张得意地将摄像头对准杂志的封面，经过瞬间识别，摄像头中开始流畅地播放起了腾讯公司的宣传视频《弹指间，心无间》。小张的朋友们竖起大拇指，感叹这真是太酷了！

增强现实：现实和虚拟世界的交融

其实视频中小张打开的并不是普通的摄像头软件，而是一款由腾讯研究院模式识别组研发的基于增强现实（AR, Augmented Reality）的有趣应用。

增强现实是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。其技术关键问题主要有两个方面，第一是跟踪和定位，检测需要“增强”的物体特征点以及轮廓，跟踪物体特征点并生成二维或三维坐标信息，例如在视频中识别出海报的内容和在摄像头中的位置；第二个问题是界面可视化，需要将识别标记移除并显示“增强”物体，有时还需要让“增强”物体与真实场景更自然的融合。

增强现实技术首先需要识别标记，有明显标记的增强现实技术可以基于二维Marker或基于纹理图片，例如识别出桌面的特定方框标记，即可在标记上显示一个三维动画人物，伴随着音乐为我们跳一段舞。无明显标记的增强现实技术通常是基于自然特征或物体识别，对人脸、建筑或文字等进行识别，比方说当人们将摄像头对准伦敦大本钟时，可以显示出一只魔幻世界中的巨龙从远处飞来，在大本钟周围盘旋，是不是感觉到了哈利波特的世界呢？

增强现实技术还可以结合GPS来表现，Layar公司推出的增强现实平台已经向我们展示了一套完整的使用场景：当用户用手机对准城市的建筑群时，结合当时所处的位置信息，手机识别建筑后将实时地展示特色信息，例如这个商场正在全场打八折促销，那个轮渡码头的开船时刻表，指示出游客要入住的那个酒店、预定的check-in时间及房间号，给游客带来无限便利和酷爽体验。

Kinect是现在年轻人当中很流行的游戏机，也许聪明的读者已经猜出，其实Kinect的许多游戏就是基于增强现实技术来实现的。不久前网络上热门转播的“真人水果忍者”视频中，一位蒙面的“忍者哥”在摄像头前，屏幕上的水果飞来时，让人大呼过瘾，赞叹这才是真正的“水果忍者”！

此外，增强现实技术当然不仅仅只是应用到移动智能设备上，还有一种较常见的方案是通过摄像头捕捉，再在大屏幕上展示“增强”的物体。不久前一家洗发水公司就利用户外大屏幕，邀请路人站在特定的摄像区域中，就可以实现在大屏幕上同明星angelababy一起跳舞玩游戏的效果；国家地理频道也曾经推出类似的广告，让博物馆中的游人能够在大屏幕上看到恐龙等动物在自己身边玩耍的场景。这种新奇的广告方式吸引了许多路过行人的眼光，不少人跃跃欲试，具有很好的眼球效应。

火热的研究热潮

国外许多厂商早已意识到增强现实的新鲜体验带来的用户价值，并已经在增强现实技术上有了较深的积累。ARToolWorks是最知名的增强现实技术提供商，开发了针对简单二维编码的ARToolKit系列SDK，支持iOS、Android等多平台；Total Immersion提供了marker跟踪以及面部检测、运动检测等解决方案，还开发了知名的D'Fusion Studio，使得不懂增强现实技术的人也可以很轻松地开发简易的应用；知名的增强现实技术开发商Aurasma不仅提供了多种形式的开发套件还推出了免费应用Aurasma Lite； Qualcomm专注于移动平台领域，出品了AR SDK（Android&iOS）以及基础CV库FastCV（Android）；Sony开发了Smart AR平台，能够自动识别二维图像中的三维坐标并给以更自然的展示；Vuzix开发了增强现实眼镜硬件，并且提供SDK下载。

也许上面提到的厂商大家并不熟悉，但是说到基于增强现实技术的应用，有一款明星产品已经引得全球各大科技媒体争相报道，没错，那就是Google Glass！在2012年I/O开发者大会上发布的Google Glass把大会带入高潮。看一眼地铁口就能提醒你“嘿哥们儿！地铁停运了今儿咱走路吧！”，在书店里仅仅凭借获取周围环境就能为你实现室内导航，这款又酷又潮的科技作品不仅承载了Google的创新技术，更像一款真正的眼镜那样延展了人们的视野，让不少参会开发者看清了增强现实在未来发展方向的重要作用。结合Google现有的产品线来看，我们很容易预测基于增强现实技术的Google Glass即将成为一个重要的整合方案，将Google+、Google Maps甚至传统的搜索、翻译等应用集于一身，不仅能够极大地提升用户体验，更能以平台的方式带动Google整个产品线的发展，对公司而言具有很大的战略价值。

腾讯的创新：增强现实云平台

作为新技术的探索者，腾讯研究院人机交互中心模式识别组也已开始了增强现实技术的探索。

增强现实技术通常需要训练过程，而训练过程却耗时长、逻辑复杂，再考虑到实时性的要求，一般的客户端无法提供足够的运算性能，因此通常是针对特定的标志物进行训练并将训练文件放在本地，这些技术瓶颈不可避免地造成了产品功能单一。同时，用于展示的3D模型和视频均保存在本地，又造成了客户端过于庞大。

针对这些问题，腾讯研究院提出了基于云服务的技术方案。增强现实云服务系统框架包含客户端和云服务器端两部分，客户端包含PC客户端、移动客户端和网页客户端，云服务器指包含识别、训练以及保存用户数据库和公共数据库的数据的服务器集群。总共有三种工作模式，一种是实时检测模式，一种是用户自定义模式，一种是离线训练模式。

在研究院完全自主研发的训练、检测、识别引擎的基础上，我们将训练算法和识别算法均放在云服务器端进行处理，用户的客户端仅保留标志物的跟踪算法。客户端在打开的时候将视频帧传到后台，后台识别后如果存在相应的展示内容则返回给用户训练好的数据文件，用户仅在客户端中读取训练文件跟踪相应的特定标志物即可。同时，我们将展示数据，包含视频和3D模型都放在后台，在识别出视频中的相应展示数据时，提示用户下载或者即时观看相对应的视频或3D模型。这样之前遇到的问题便迎刃而解了。

来来的应用：当互联网产品遇见增强现实

让我们畅想一下增强现实技术与现在的互联网产品结合会给大家带来怎样的惊喜！

也许某一天，当你在陌生的城市寻找住宿时，只需要用摄像头扫一眼就能知道附近哪些建筑是酒店， 旅行软件会提供它们的价格、环境、用户评论等信息，地图软件会在摄像头中为您实时指示每一小步，让您的旅行更从容。

也许某一天，当你偶然在一家餐厅发现一道美味佳肴时，使用摄像头拍摄一下，美食软件就能将这道美食的制作过程立即用互动视频的方式展示给你；当你酒足饭饱想要去看电影，只需要对着电影海报一拍，电影信息软件就能为您播放电影的预告片，还能让您实时在屏幕中预定电影票和选择座位。

也许某一天，当你想为远方的朋友送上生日祝福时，你只需打开“视频会话”，拿出一张打印有特定标记的纸放在摄像头前，对方就能看到纸上跃然而出的“生日蛋糕”，蛋糕上烛光点点，可爱的卡通人物伴随着生日快乐歌在蛋糕上翩翩起舞，收到这样一份别样的惊喜和感动，一定会是你们之间最珍贵难忘的记忆！

当然不止这些，相信在不久的将来，每个互联网产品都能通过增强现实技术，将现实和幻想的世界有机结合起来，向这个新颖的维度无限延伸，让人们看到一个更加丰富多彩、亦真亦幻的世界，这个全新的世界必将给人们带来一个前所未有的非凡体验！

也欢迎大家体验另一款视觉识别酷炫概念产品“SOSO慧眼2.0”iPhone版。

QQ慧眼iPhone版：| Android版下载地址| 官方网站| 官方微博