移动互联网下的模式识别应用9 9

腾讯研究院人机交互中心陈波

新一代移动平台下的模式识别应用

主要内容

移动互联网发展现状移动互联网发展现状 1

改变输入体验改变输入体验2

PR 改变生活PR 改变生活3

基于 PR 的娱乐应用基于 PR 的娱乐应用4

增强现实增强现实5

手机产生移动互联网

大脑变大眼变长手变长

移动无线互联网带来信息沟通的革命

手机俨然成为了我们生活的亲密伙伴

移动互联网的演变

4

• 移动互联网终端手机、上网本、平板电脑等

• 移动互联网：包括 2G/3G->4G

• 用户规模中国已经拥有 6 亿以上手机用户

应用层的创新百花齐放

移动互联网发展特点和 PR 的机会

• 日益增大的网络带宽 —可以用云服务方式提供• 不断增强的终端能力— 让复杂的 PR 运算成为可能 • 不断增加的移动应用— PR 可以改善移动应用体验

低成本无中心给应用层提供了无限的创新和发展空间

主要内容






移动互联网下的模式识别应用点

• 如何改善输入体验？

如何用 PR 技术改善移动终端体验？

• 手写识别• 手势应用• 语音输入

输入法——联机手写单字识别

平板电脑上的手写输入可连续手写的输入法

连续手写多个汉字，一气呵成

手写中局部调整

* 手写中功能按键全部消隐，确保输入空间足够大* 自动切分手写轨迹，点击轨迹可调整单字辨识结果

平板电脑上的手写输入可连续手写的输入法

连续手写英文单词，提高纯英文手写的效率叠加手写改善手机屏幕小的缺陷

英文单词手写中文叠加手写

英文全键盘上通过滑动轨迹，输入英文单词

QQ 输入法创新应用：滑动英文输入

QQ 输入法创新应用：滑动英文输入

视频

滑动输入识别流程

手势识别——方便快捷操控手机

全新的手机手势识别引擎，可灵活扩展增加修改，支持多出点触摸

手写识别应用——手势搜索

手势快速查找手机联系人和应用程序，并对结果进行手势过滤视频

手写识别应用——手势搜索

视频

改变输入体验—— QQ 手机输入法

改变输入体验—— 语音搜索

语音输入结合用户词库，优化用户声学模型，越用越准确，语音输入法截图

定制用户的语言模型

学习用户的声学特征

识别不同的应用情景

更准确更聪明

主要内容




娱乐应用娱乐应用4


PR 改变生活

• 让你的手机摄像头成为一台成熟的扫描仪• 让你的声音和脸蛋可以替代密码

QQ 慧眼——带你世界

视频

QQ 慧眼——让你的手机变成成熟的图像扫描仪

QQ 慧眼 1.0 —— 文字识别即时拍照翻译

人脸认证—— 密码锁、开机锁

Shazam—— 听到的好歌曲不容错过

用人脸识别做眼镜试镜

基于 PR 的其他生活应用

• 语音导航、语音操作• 听歌搜歌、哼唱搜歌• 语音登陆、认证• 商务助手• 名片识别• 拍照处理软件

主要内容

基于 PR 的娱乐应用基于 PR 的娱乐应用



PR 改变生活PR 改变生活

4


3

PR 的娱乐应用

基于 PR 的其他娱乐应用

• 手势打地鼠（基于二维 cameral 的应用）• 人脸 Avator

• 趣味视频聊天• 音乐类游戏• 基于图像跟踪和识别的其他游戏

主要内容






什么是增强现实（ AR）

增强现实（ Augemnted Reality）是将现实世界和计算机生成的信息融合在一起的技术，这些信息可以是图像、文字或者三维模型等

增强现实系统框架

增强现实的三个特性

• 虚实结合• 实时交互• 显示设备位姿确定移动增强现实系统应实时跟踪手机在真实场景中的位置及姿态，并根据这些信息计算出虚拟物体在摄像机中的坐标，实现虚拟物体画面与真实场景画面精准匹配

增强现实应用场景

• 博物馆导游• 地图• 购物指南• 工业设计• 炫彩游戏新一代的广告模式

移动增强现实研究现状

移动增强现实（ MAR）研究主要是两类方法：•基于硬件传感器的方法常见的有磁场、声学、光学、惯性等四类传感器跟踪技术。

•基于视觉的方法 1）基于 marker 的方法 2）基于自然特征的方法

移动增强现实——基于传感器的应用Layer 、 Wiketude

采用这种方式的增强现实应用，手机是最为合适的实现平台。因为实现简单，目前智能手机上 GPS 、摄像头和指南针的搭配已经可以初步实现增强现实——将镜头对准餐馆，关于这个餐馆的评价会浮现在画面之上

移动增强现实——基于传感器的应用

必备设备：摄像头、显示屏、 GPS 、电子指南针

原理 :• 通过 GPS取得纬度、经度和高度信息，通过电子指南针取得面向的方向，确定搜索的范围；

•指定搜索内容，发送搜索范围的数据；• 通过无线互联，将从网络获取的信息叠加在显示屏

上。

基于视觉的增强现实

通过在视频图像对检测到的特征进行分析，得到空间点和图像点的对应关系，计算相机的位置和姿态

两类：•基于标记的增强现实•基于自然特征的增强现实（难点）

基于人工标记的 AR

基于自然特征的 AR

• 自然特征而不是人工marker 例如 sift 、 harris

•传统 AR是在平面物体上叠加虚拟信息

•未来 AR 的研究方向应为三维场景下虚拟信息的叠加。

移动 AR 应用举例

aurasma.

48

移动终端

增强现实钱景乐趣

移动装置＋增强现实 ( AR )= 乐趣与钱景

创意无限的行销方式在真实空间的虚拟游戏

试穿试戴的新定义玩弄艺术的新媒材传达讯息的新介面

视频

新一代移动平台下的 PR 应用还有很多我们一起去探索

Q&A 谢谢！

移动互联网下的模式识别应用9 9

Documents

Transcript of 移动互联网下的模式识别应用9 9