[总结] Kernel Foveated Rendering

论文标题:

Kernel Foveated Rendering

关键词:

关注点渲染、感知、对数极坐标映射、眼睛跟踪、虚拟现实

在传统的渲染中,由于对画面中的每一个细节都需要精确计算,因此会花费较多的渲染时间。但是,用户在观测该画面的时候,并无法对每一个细节都全神贯注。因此,本文提出一种关注点渲染的方式,较大程度上地优化渲染流程。通过重点渲染关注点,减少对其余内容的渲染,将速度提升至3-6倍。该文献的方法主要是,通过在经典对数极坐标映射中嵌入多项式核函数,进行参数化关注点绘制。同时,由于是参数化形式的转换方式,该文献对不同参数得出来的结果进行用户研究,最终得出相关的经验性参数。

研究结果:

1. 研究问题

1.1 背景
在制作光场照片的时候,需要对同一个物体进行不同方位的拍照。但是由于照片众多,同时一张照片精细度较高,导致计算较为耗时。

1.1.1 基于人眼注视点的数据

image.png
  • 人眼视角虽然宽,但是每个部位的可接受分辨率是不一样的,只有视角前方的可接受分辨率最高。

1.1.2 2017年研究显示

image.png
  • 在VR中,人眼具有高分辨率注视点的区域就只有4%。
  • 对于剩下的部分,人眼并没有用全分辨率去感知这个区域。

1.2 假设


image.png
  • 是否可以将关注点重点渲染,其余部分稍微虚化一些?

2. 算法构造

2.1 转换方程
LogPloar坐标转换(笛卡尔转LogPolar再转笛卡尔坐标)


image.png
image.png
  • 因为有log操作,因此距离圆心越近的数据,在Log-Polar那边就会显得越大。

2.2 面积大小


image.png
  • 当数据转化回笛卡尔坐标系之后,中间信息不被压缩,边缘信息被压缩。

2.3 示例


image.png

2.4 改善画质

  • 通过:改变像素分布率

  • 通过核函数,改变像素分布律

  • 该方式,可以灵活变化各种数据之间的占比


    image.png
  • 目的:


    image.png
  • 通过该方程转化,可以模拟出人眼中像素点的分布。同时,人眼无法区分出图片是否被压缩过。

2.4 最终算法
2.4.1 参数

  • buffer


    原图宽度/LogPolar宽度
    • 随着σ的增大,中心几乎不变,但是边缘变虚。因此需要把握住σ的大小。


      image.png
  • 核函数参数 α
核函数公式
  • 随着α增大,边缘越来越清晰,因此需要注意α的大小。


    image.png

2.4.2 渲染流程

  • 将渲染原料渲染后,变化为Log Polar坐标系
  • 对其进行反渲染,得到效率较高的渲染结果


    image.png

2.4.3 加速结果

  • 在做完用户测试后,σ=1.8,α=4的时候效果较能被接受,计算时间为原来的1/3。


    image.png

对设计的启示:

  • 该文章相当巧妙,通过研究人视觉的关注点,将算力集中于该部分,以提高渲染效率。

  • 该文章也将压缩过程量化,通过具体函数完成转换。之后可以直接选定关注点后,进行快速压缩。同时,通过参数化算法,对得出来的像素结果再做映射,通过算法参数调节映射结果。算法本身并不难,但思路相当巧妙。

  • 传统渲染方向的论文会将研究重心放在渲染模型时三角面的快速近似计算。但该文章很好地将计算机算法与人的可视化观测方式结合在一起,从人体本身出发,设计算法。这部分可能可以被认为是另外一种形式的交互,隐式交互。

  • 作者另外的一篇文章讲的是左眼与右眼,哪一只眼为主视眼,哪一只为副。该结果也能在某种程度上辅助图形学可视化。

未来:

  • 目前该文章只能针对静态图片,期待未来加入视频元素。

  • 该方法不适用于常规可视化屏幕,更适用于VR结果,因为VR本身设备可以捕捉瞳孔运动,可以通过该数据,对图片进行快速渲染,降低渲染延迟性。

  • 期待之后能在人机交互的方向上,探索到人与机器更为本质的相关性,而非仅仅是从计算机角度考虑,然后做可视化。也可以尝试反过来推理,用户的身体机能是否真的有如此精确的需求,如果没有,其实可以对传统算法、传统模型进一步优化。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,937评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,503评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,712评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,668评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,677评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,601评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,975评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,637评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,881评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,387评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,971评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2 342

推荐阅读更多精彩内容