找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

查看: 2018|回复: 10

[分享] Hololens 的应用 场景有哪些局限?

[复制链接]

该用户从未签到

3

主题

3

帖子

3

积分

LV.1

Rank: 1

积分
3
QQ
发表于 2016-11-18 10:57:59 | 显示全部楼层 |阅读模式
感激 胡痴儿 投稿作者:胡痴儿2.0
链接:http://www.zhihu.com/question/41933926/answer/93658834
起源:知乎
今朝HoloLens 的应用场景重要受限于此刻还不成熟的CV技巧,所以 HoloLens 只能在小型室内、中等光照、较简练的空间里应用。HoloLens 的slam技巧,官方叫 spatial mapping 。每秒钟会『拍』5帧画面,然后对四周的空间进行『进修』和『懂得』。而 spatial mapping 的应用场景一般为 Room scan,也就是是在房间标准内进行扫描。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

scanning 的范畴限制
你戴着 HoloLens 在空间里行走,就是相当于用上面的 Kinect 对四周的空间扫描,就像你展开眼睛在一段空间中走动,然后视觉体系经由过程你眼睛传回的视觉旌旗灯号来鉴定你处于空间中的什么地位。而HoloLens的camera的成长必定会越来越接近人的眼睛,而它的CV算法必定会越来越接近人的视觉体系。所以,下面的各类hololens不克不及正确判定它在空间中处于什么地位的情境,你的眼睛也会有必定的迷惑,我们以此类比。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

HoloLens的扫描范畴在这个75°的圆锥里,近到0.8米、远到3.1米的范畴内。(等待将来这个范畴有质的冲破)近于0.8米,远于3米范畴的工具不会被扫到。
所以假如用户没有昂首,那么天花板就扫不到了。同理,假如有工具被盖住了看不到,那也就扫不到。
然后还有个捕获用户手势的区域,hololens叫做 gesture frame,大要是你伸出胳膊90度的处所有两英尺巨细的方形区域,所以你的手势要在这个空间内。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

mapping 会犯错的应用场景
不外分歧地位的情况,分歧外形、巨细、材质的物体概况城市激发各类题目,今朝已知的一些CV方面的题目:用户快速移动,好比猛地一回头;光线不足——由于暗中接收红外光,所以假如四周很暗,那就全部scanning 犯错。或者某个暗中的角落,接收失落红外光导致旌旗灯号虚弱(想象曝光不足)。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

同理,即使只有一小块暗中色的材质,也会让那一块天生『洞』;

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

摄像头被遮挡;

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

墙壁没有特别色彩,苍白的一片,HoloLens无法找到interesting point或有特点的landmARk点。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

多个反复的物体,这时想在空间中定位本身的地位就很难。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

RGB camera很难区分统一场景下分歧的情况光,即使landmark是雷同的处所也会被当做分歧的处所,由于它们的颜色、光照、暗影、明暗面……看上往差别太年夜了。反光的镜子,导致mapping 呈现幻象;

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

窗外射来的阳光,红外线干扰扫描;

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

室外强光造成良多物体概况的反光(光子反弹?);别的,假如一个物体正面很亮,可能由于曝光过度的原因,它的暗面就被疏忽失落;
亮面反射光造成高延迟或者在空间中发生『幻象』;
好比在暗中的室内有室外的强光直射过来,由于对照度太强,这时就会曝光过度或者曝光不足。所以这时应当提示用户:拉上窗帘→打开灯。(实在hololens就是建议只在家里应用,由于家里的场景扫描完之后是不变的,而不像公交车站,半分钟内助来人往,车辆变更。在你应用的这30分钟里,你的家里没有变更,所以浮现在实际中的虚拟物体按照那些landmark点,紧紧地放在本来的实际物体上。这实在有点相似于『短期记忆』。)别的一种比拟特别的情形是空间里看上往两个雷同的部门(identical portions),很可能机械会误认为你又回到了适才的空间(把两个类似的空间搞混了)。Hololens找landmark点,就像你看到一些年夜厦的摆列次序,就顿时在空间中定位出你地点的标的目的并知道接下来该怎么走一样。而假如打乱这些物体摆放的次序,则hololens会迷掉在这个空间里,由于landmark点之间的地位关系变了。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

而假如到了室外,可能情形就更庞杂了,可能一个工具此刻在这里,等一会又到了此外处所。
可能一个月前还枝繁叶茂,此刻已经完整凋落。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

别的,多台HoloLens 之间的彼此干扰:官方说2台可以融洽地协作,而5台则会彼此干扰。这些会导致spatial mapping 呈现过错,好比:洞(Hole)洞(Hole),就是没有被 mapping 到的数据。而全息物体可能会失落进这个『洞』里面。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

实际中,我们的门和窗是真正的『洞』。
hololens 的算法会填充(修复)那些因扫描不到或犯错而发生的『洞』。可是也要包管,真正的『洞』(门窗)不被填充。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

幻觉(Hallucination)幻觉(Hallucination)。(好比,在你的HoloLens 扫描的时辰有小我或者有条狗被mapping 到了,即使它们走了,它们的mesh 还会留在那边,直到你走过来从头扫描它,它的过错的mesh 才会消散。这就是由于扫描速度太低导致的。)

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

前面说到,过亮、反光、移动失落已有的实际物体,城市发生『幻觉』。
在常见的幻觉是floating in mid-air,感到物体浮在半空中,从而缺乏『物理感』。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

而『幻觉』在『物理』上的表示,就感到像全息的工具呗看不见的无形的工具给盖住了。固然四周看上往似乎没有障碍物。(而假如你这是有 gaze ,则会浮在这些虚无的幻象上)
如图,一把椅子形成的 spatial mapping 幻象,你固然已经把椅子搬走了,但su***ce 没能实时更新。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

误差(Bias)
误差(Bias),mapping 出来的 mesh比实际中现实的要 凸出或者凹陷。
我们都知道 spatial mapping 经由过程三角形构成的多面体来描写空间的概况,所以显得很粗拙、凹凸不服和视觉噪音。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

正由于空间是不服整的,所以全息的小球在地面上也不是直线转动的。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

不外假如须要将不成见的 su***ce 概况 可视化而衬着出来,一般须要调节它的滑腻水平,把它调得滑腻,从而看起来加倍清洁整洁。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

滑腻在平面上的表示。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

滑腻水平在三维上的表示。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

可是它的毛病是会损失一部门spatial mapping 对空间中物体概况的对应关系。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

怎么修复这些过错
只有当用户走到新的处所时,这些过错才干慢慢被修复。(面临过错有两种解决方式,一种是避免,一种是修改。)
所以,HoloLens 在一步步培育用户的应用习惯——没事在四周空间处处逛逛转转,转回头动动眼(以不竭扫描和修改mapping)。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

当用户开门关门的时辰,spatial mapping 就会因从头适配新的场景而做出转变。当然,更多的题目,还要等现实应用中慢慢往发明了。当然除了spatial mapping上的,还有帧数率(presentation frame rate)、衬着延迟( rendering latency)、输进延迟(input latency,)、功耗和散热(power consumption for thermals)电池寿命(battery life)……这里就不具体睁开了。前面说过HoloLens的刷新率是60帧,所以延迟是16秒,假如移动&晃悠的速度快于这个速度则会发生发抖(jitter)。
让用户本身不竭寻找合适的应用场景
而正由于空间是受限的,所以须要我们寻找一个合适操纵的舒适空间。好比我要mapping 一个全息的火星概况,就得寻找一块适合的空位。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

特定空间概况设置装备摆设
特定空间概况设置装备摆设(specific configuration of su***ces),将没有装修的毛坯房可视化成某个装修计划。虚拟物体和实际物体的匹配,提前就设计好了。

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

特定物体的加载
特定物体的加载举一个考古学范畴的例子:好比这个断了同党的 angel,在mapping 后长出新同党。(事实上在考古上经常碰着雕塑或建筑断裂损毁的情形,而依据现存的模子倒推出它断裂损毁的处所的情形。当然,良多考古学家也会在实际的场景上增添或者修正一些模子。)

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

Hololens 的使用场景有哪些局限?

想象未来往参不雅博物馆,有些文物损毁了,戴着AR眼镜的你却可以看到它的修复的样子容貌(你的眼镜辨认了它的模子从而加载)。树立一个从头扫描的选项,假如用户一次没有扫描好,好比将一条走廊扫成了一堵墙,则须要从头扫描。
AR酱文章,转载须注明出处
AR酱微旌旗灯号:ARchan_TT
AR酱官网:www.arjiang.com

该用户从未签到

0

主题

47

帖子

15

积分

LV.1

Rank: 1

积分
15
QQ
发表于 2016-11-19 20:47:07 | 显示全部楼层
看帖怎么能不会呢??

该用户从未签到

3

主题

19

帖子

22

积分

LV.1

Rank: 1

积分
22
QQ
发表于 2016-11-22 03:39:23 | 显示全部楼层
这里竟然还有这么一个关于AR的网站的收藏了

该用户从未签到

2

主题

26

帖子

28

积分

LV.1

Rank: 1

积分
28
QQ
发表于 2016-11-22 06:46:24 | 显示全部楼层
增强现实,增强现实,增强现实。重要的事情说三遍

该用户从未签到

0

主题

9

帖子

8

积分

LV.1

Rank: 1

积分
8
QQ
发表于 2016-11-23 19:22:38 | 显示全部楼层
增强现实希望发展越来越好

该用户从未签到

5

主题

32

帖子

13

积分

LV.1

Rank: 1

积分
13
QQ
发表于 2016-11-24 03:36:59 | 显示全部楼层
竟然还有零回复,给我消失

该用户从未签到

4

主题

54

帖子

56

积分

LV.2

Rank: 2

积分
56
QQ
发表于 2016-11-24 05:35:17 | 显示全部楼层
楼主辛苦了,帮楼主顶起来

该用户从未签到

4

主题

28

帖子

27

积分

LV.1

Rank: 1

积分
27
QQ
发表于 2016-11-30 03:38:38 | 显示全部楼层
楼主辛苦了。。回帖是一种美德

该用户从未签到

5

主题

27

帖子

35

积分

LV.1

Rank: 1

积分
35
QQ
发表于 2016-12-6 07:01:30 | 显示全部楼层
想了解下AR增强现实的相关内容来看看

该用户从未签到

1

主题

46

帖子

37

积分

LV.1

Rank: 1

积分
37
QQ
发表于 2016-12-29 08:11:48 | 显示全部楼层
嗯,很不错的样子!!
您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

关闭

站长推荐上一条 /1 下一条

快速回复 返回顶部 返回列表