VR系统中多应用场景显示方法、装置及VR设备[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111736942 A(43)申请公布日 2020.10.02

(21)申请号 202010844008.1(22)申请日 2020.08.20

(71)申请人 北京爱奇艺智能科技有限公司

地址 100000 北京市石景山区实兴大街30

号院3号楼2层A-0550房间(72)发明人 周延献　

(74)专利代理机构 北京绘聚高科知识产权代理

事务所(普通合伙) 11832

代理人 郭士磊(51)Int.Cl.

G06F 9/451(2018.01)

权利要求书1页 说明书7页 附图3页

()发明名称

VR系统中多应用场景显示方法、装置及VR设备

(57)摘要

本发明公开了一种VR系统中多应用场景显示方法、装置及VR设备，该VR系统包括容器，所述容器中包括多个虚拟显示区，所述虚拟显示区与VR应用一一对应；该方法包括：在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内；将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互；本发明的技术方案在容器内存在多个并行的虚拟显示区，该多个虚拟显示区可与VR应用对应，形成VR系统中的多通道显示方案，解决单一通道下用户需要显示多VR应用的需求，提升VR体验感，增加沉浸感。

CN 111736942 ACN 111736942 A

权　利　要　求　书

1/1页

1.一种VR系统中多应用场景显示方法，其特征在于，该VR系统包括容器，所述容器中包括多个虚拟显示区，所述虚拟显示区与VR应用一一对应；

该方法包括：

在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内；

将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互。

2.根据权利要求1所述的VR系统中多应用场景显示方法，其特征在于，所述将该VR应用显示在所述容器内对应的虚拟显示区内包括：

在所述容器内申请缓冲空间，其中，所述缓冲空间和所述虚拟显示区一一对应；将所述VR应用的界面展示数据存储到该VR应用对应的所述缓冲空间内；所述虚拟显示区读取其对应的缓冲空间内的界面展示数据进行显示。3.根据权利要求1所述的VR系统中多应用场景显示方法，其特征在于，响应用户输入的调整指令调整所述虚拟显示区的位置和/或大小。

4.根据权利要求1所述的VR系统中多应用场景显示方法，其特征在于，响应用户输入的控制指令开启或关闭所述容器内的虚拟显示区。

5.根据权利要求1所述的VR系统中多应用场景显示方法，响应用户输入的VR应用及虚拟显示区更新存储的所述虚拟显示区与所述VR应用之间的对应关系。

6.根据权利要求1所述的VR系统中多应用场景显示方法，其特征在于，该方法还包括：在物理屏幕上，通过预设的交互方式确定待交互VR应用的交互事件，并向所述待交互VR应用进行所述交互事件派发，并在VR应用对该交互事件进行响应后显示到其对应的虚拟显示区。

7.根据权利要求6所述的VR系统中多应用场景显示方法，其特征在于，所述预设的交互方式包括手柄、鼠标、键盘、语音、眼球追踪及头部控制。

8.一种VR系统中多应用场景显示装置，其特征在于，该VR系统包括容器，所述容器中包括多个虚拟显示区，所述虚拟显示区与VR应用一一对应；

该装置包括：显示模块，用于在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内；

渲染模块，用于将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互。

9.一种VR设备，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述VR设备执行权利要求1至7任一项所述的VR系统中多应用场景显示方法。

10.一种计算可读机存储介质，其特征在于，其储存有权利要求9所述VR设备中所用的所述计算机程序。

2

CN 111736942 A

说　明　书

VR系统中多应用场景显示方法、装置及VR设备

1/7页

技术领域

[0001]本发明涉及虚拟现实领域，具体而言，涉及一种VR系统中多应用场景显示方法、装置及VR设备。

背景技术[0002]VR（Virtual Reality，虚拟现实）是一种虚拟现实显示设备，能很好的体验到富有真实感的虚拟世界，在虚拟世界可以完成娱乐、社交、工作等等，因此VR系统的显示环节至关重要。

[0003]VR技术发展十分迅速，在目前的VR设备中，仍然停留在一个主要应用场景中，也就是说主要以单一通道的主显示屏幕（物理屏幕）渲染场景为主，实现单一的3D场景重现需求，在VR需求的更高层次上，社交/工作/娱乐等需要同时显示时往往会存在显示及交互冲突问题。

发明内容

[0004]鉴于上述问题，本发明实施例的目的在于提供一种VR系统中多应用场景显示方法、装置及VR设备，以解决现有技术的不足。[0005]根据本发明的一个实施方式，提供一种VR系统中多应用场景显示方法，该VR系统包括容器，所述容器中包括多个虚拟显示区，所述虚拟显示区与VR应用一一对应；

该方法包括：

在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内；

将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互。

[0006]在上述的VR系统中多应用场景显示方法中，所述将该VR应用显示在所述容器内对应的虚拟显示区内包括：

在所述容器内申请缓冲空间，其中，所述缓冲空间和所述虚拟显示区一一对应；将所述VR应用的界面展示数据存储到该VR应用对应的所述缓冲空间内；所述虚拟显示区读取其对应的缓冲空间内的界面展示数据进行显示。[0007]在上述的VR系统中多应用场景显示方法中，响应用户输入的调整指令调整所述虚拟显示区的位置和/或大小。

[0008]在上述的VR系统中多应用场景显示方法中，响应用户输入的控制指令开启或关闭所述容器内的虚拟显示区。

[0009]在上述的VR系统中多应用场景显示方法中，响应用户输入的VR应用及虚拟显示区更新存储的所述虚拟显示区与所述VR应用之间的对应关系。[0010]在上述的VR系统中多应用场景显示方法中，该方法还包括：

在物理屏幕上，通过预设的交互方式确定待交互VR应用的交互事件，并向所述待交互

3

CN 111736942 A

说　明　书

2/7页

VR应用进行所述交互事件派发，并在VR应用对该交互事件进行响应后显示到其对应的虚拟显示区。

[0011]在上述的VR系统中多应用场景显示方法中，所述预设的交互方式包括手柄、鼠标、键盘、语音、眼球追踪及头部控制。

[0012]根据本发明的另一个实施方式，提供一种VR系统中多应用场景显示装置，该VR系统包括容器，所述容器中包括多个虚拟显示区，所述虚拟显示区与VR应用一一对应；

该装置包括：显示模块，用于在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内；

渲染模块，用于将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互。[0013]根据本发明的再一个实施方式，提供一种VR设备，所述VR设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述VR设备执行上述的VR系统中多应用场景显示方法。[0014]根据本发明的又一个实施方式，提供一种计算机可读存储介质，其存储有所述VR设备中所用的所述计算机程序。

[0015]本公开的实施例提供的技术方案可以包括如下有益效果：

本发明中一种VR系统中多应用场景显示方法、装置及VR设备，在容器内存在多个并行的虚拟显示区，该多个虚拟显示区可与VR应用对应，在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内；将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上。形成VR系统中的多通道显示方案，解决单一通道下用户需要显示多VR应用的需求，将多个VR应用显示在一个物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互，提升VR体验感，增加沉浸感。[0016]为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明

[0017]为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0018]图1示出了现有技术中一种单一通道的VR系统交互框架示意图；

图2示出了本发明第一实施例提供的一种VR系统中多应用场景框架示意图；

图3示出了本发明第一实施例提供的一种VR系统中多应用场景显示方法的流程示意图；

图4示出了本发明第二实施例提供的一种VR系统中多应用场景显示方法的流程示意图；

图5示出了本发明第二实施例提供的一种VR系统的交互框架示意图；

图6示出了本发明第三实施例提供的一种VR系统中多应用场景显示装置的结构示意

4

CN 111736942 A

说　明　书

3/7页

图。

[0019]

主要元件符号说明：

300-VR系统中多应用场景显示装置；310-显示模块；320-渲染模块。

具体实施方式

[0020]下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。[0021]现有的VR系统中，主要沿用了传统的显示和交互流程，直接将一个应用场景的所有元素渲染到物理屏幕上，多个应用是前后台展示的关系，不能同时展现，不能同时处于运行状态。如图1示出了现有技术中一种单一通道的VR系统交互框架示意图。VR系统中的一个应用（图1中APP）中的所有元素：业务逻辑（实现该应用的核心功能的代码就叫业务逻辑）、应用场景逻辑（该业务逻辑的的应用场景）及与用户交互的控制逻辑（通常通过手柄控制器来进行交互）均渲染到物理屏幕（VR系统中的显示屏）上，以供用户观看。对于同时打开的多个应用而言，现有的VR系统一般只能将一个应用（该应用通常为前台应用）的所有元素渲染到物理屏幕上，其他应用作为后台应用在后台运行，导致用户在需要同时使用多个应用的情况下，需要频繁切换显示到物理屏幕上的应用，导致该多个应用在VR系统中存在显示和交互冲突的问题。[0022]实施例1

图3示出了本发明第一实施例提供的一种VR系统中多应用场景显示方法的流程示意图。

[0023]图2示出了本发明第一实施例提供的一种VR系统中多应用场景框架示意图，区别于上述现有的VR系统，该VR系统中包含了容器（即图2中容器APP）这一特征，该容器APP中包含了多个虚拟显示区（即图2中的虚拟屏幕），所述虚拟显示区与VR应用一一对应。[0024]该VR系统中多应用场景显示方法包括以下步骤：

在步骤S110中，在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内。[0025]具体地，如图2所示，若用户需同时使用多个VR应用，比如业务APP、娱乐APP、社交APP等等，将容器APP内的虚拟显示区进行编号，并与VR应用一一对应，并将该VR应用渲染到其对应的虚拟显示区内。

[0026]比如业务APP对应渲染到虚拟屏幕1中，娱乐APP对应渲染到虚拟屏幕2中，社交APP对应渲染到虚拟屏幕3中，等等。[0027]在步骤S120中，将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互。[0028]具体地，将容器内的所有虚拟显示区的显示内容渲染到物理屏幕上，渲染后，该物理屏幕上回同时显示该容器内所有虚拟显示区的内容，用户可通过该物理屏幕观看并交互

5

CN 111736942 A

说　明　书

4/7页

所有想要同时操作的VR应用，避免了来回切换VR应用的缺点，增加沉浸感。[0029]本实施例技术方案在容器内存在多个并行的虚拟显示区，该多个虚拟显示区可与VR应用对应，形成VR系统中的多通道显示方案，解决单一通道下用户需要显示多VR应用的需求，提升VR体验感，增加沉浸感。[0030]进一步地，所述将该VR应用显示在所述容器内对应的虚拟显示区内包括：

在所述容器内申请缓冲空间，其中，所述缓冲空间和所述虚拟显示区一一对应；将所述VR应用的界面展示数据存储到该VR应用对应的所述缓冲空间内；所述虚拟显示区读取其对应的缓冲空间内的界面展示数据进行显示。[0031]具体地，可以通过在容器内申请缓冲空间，该缓冲空间和VR应用一一对应，该缓冲空间同时和虚拟显示区一一对应。缓冲空间用来存储其对应的VR应用渲染所需的所有元素，所述虚拟显示区可读取与其对应的缓冲空间内的所有元素进行显示。[0032]比如，业务APP的所有元素可存储在缓冲空间1内，虚拟屏幕1对应读取缓冲空间1内的所有内容并进行显示，以便于用户观看和交互。[0033]进一步地，响应用户输入的调整指令调整所述虚拟显示区的位置和/或大小。[0034]具体地，用户可以通过预设的交互方式输入调整指令，该调整指令可可任意调整虚拟显示区的位置和/或大小。[0035]其中，该调整可以包括调整虚拟显示区的位置，使得用户能比较方便和舒适的操作每个虚拟显示区的内容；该调整还可以包括调整虚拟显示区的大小，以达到视野舒适。该调整还可以包括同时调整虚拟显示区的位置及大小。[0036]进一步地，响应用户输入的VR应用及虚拟显示区更新存储的所述虚拟显示区与所述VR应用之间的对应关系。[0037]具体地，用户还可以通过预设的交互方式输入VR应用（或者VR应用的编号或标识）及虚拟显示区（标识或编号），该VR系统根据用户输入的VR应用及虚拟显示区调整存储的所述虚拟显示区与所述VR应用之间的对应关系。[0038]比如，将业务APP对应虚拟屏幕1调整为业务APP对应虚拟屏幕2。[0039]进一步地，响应用户输入的控制指令开启或关闭所述容器内的虚拟显示区。[0040]具体地，每一虚拟显示区还可以对应一开关，在开启的情况下，该虚拟显示区可渲染到物理屏幕上；在关闭的情况下，该虚拟显示区不渲染到物理屏幕上。

[0041]在用户有需求需要减少或增加物理屏幕上显示的虚拟显示区的情况下，用户可通过预设的交互方式开启或关闭VR应用对应的虚拟显示区。[0042]比如，在办公场景，可以开启社交APP对应的的虚拟屏幕，接收即时信息，该社交APP可以包括企业信息类应用、微信、电话、短信等。还可以同时开启业务APP对应的虚拟屏幕进行日常工作。[0043]用户还可以可以调整好目前虚拟屏幕的位置和/或大小，达到视野最舒服位置。[0044]还如，在娱乐场景，比如观影模式，普通的影院模式，可以开启娱乐APP对应的虚拟屏幕，作为巨幕影院的屏幕，同时还可以开启社交APP对应的虚拟屏幕，显示微信/qq/电话等信息。再现电影院的感觉，甚至比电影院还舒服，不用拿起手机看微信的繁琐步骤。[0045]又如，在游戏场景，如果是普通的2D类型游戏，可以选择在游戏APP对应虚拟屏幕台展示，比如，王者荣耀等2D游戏。如果是3D游戏，此时这个容器APP框架的场景逻辑就会使

6

CN 111736942 A

说　明　书

5/7页

用虚拟屏幕的内容来重新渲染，达到逼真的3D的游戏场景。[0046]进一步地，上述预设的交互方式可以包括手柄、鼠标、键盘、语音、眼球追踪及头部控制等。

[0047]其中，眼球追踪为眼睛视线盯视的位置可触发操作，比如眼球追踪鼠标。头部控制为识别头部动作，不同头部动作对应不同的操作。[0048]实施例2

图4示出了本发明第二实施例提供的一种VR系统中多应用场景显示方法的流程示意图。

[0049]本实施例方法同样应用在图2中的VR系统中。图2示出了本发明第一实施例提供的一种VR系统中多应用场景框架示意图，区别于上述现有的VR系统，该VR系统中包含了容器（即图2中容器APP）这一特征，该容器APP中包含了多个虚拟显示区（即图2中的虚拟屏幕），所述虚拟显示区与VR应用一一对应。

[0050]该VR系统中多应用场景显示方法包括以下步骤：

在步骤S210中，在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内。

[0051]此步骤与步骤S110相同，在此不再赘述。[0052]在步骤S220中，将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互。[0053]此步骤与步骤S120相同，在此不再赘述。[00]在步骤S230中，在物理屏幕上，通过预设的交互方式确定待交互VR应用的交互事件，并向待交互VR应用进行所述交互事件派发，并在VR应用对该交互事件进行响应后显示到对应的虚拟显示区。[0055]其中，所述预设的交互方式可以包括手柄、鼠标、键盘、语音、眼球追踪、Unity/Ureal引擎及头部控制等。[0056]其中， Unity/Ureal引擎为游戏互动引擎。[0057]具体地，如图5所示，可通过Unity/Ureal引擎或者物理按键等方式待交互VR应用进行交互，比如，通过物理按键下发交互指令，或者于视线盯视的虚拟屏幕对应的VR应用进行交互。

[0058]在交互的过程中会产生交互事件，该交互事件中包含了交互过程中产生的交互指令。将该交互事件派发到需要交互的VR应用，该VR应用对该交互事件响应后，将响应结果同时展示到该VR应用对应的虚拟显示区。[0059]比如，在容器APP的框架场景中，如手柄操作时/眼球追踪/头控模式下，正在聚焦控制在哪个虚拟屏幕上，就会根据当前虚拟屏幕的ID进行相关input事件（交互事件）派发，进入到input系统，该input系统会根据虚拟屏幕的ID将该input事件派发到对应的VR应用进行交互处理，VR应用会进行相关处理，将处理结果显示在器对应的虚拟屏幕上，用户就可以在虚拟屏幕可以观看到，达到用户与VR应用进行交互的目的。[0060]实施例3

图6示出了本发明第三实施例提供的一种VR系统中多应用场景显示装置的结构示意图。该VR系统中多应用场景显示装置30对应于实施例1中的VR系统中多应用场景显示方法，

7

CN 111736942 A

说　明　书

6/7页

实施例1中的VR系统中多应用场景显示方法同样也适用于该VR系统中多应用场景显示装置300，在此不再赘述。

[0061]该VR系统包括容器，所述容器中包括多个虚拟显示区，所述虚拟显示区与VR应用一一对应。

[0062]所述VR系统中多应用场景显示装置300包括显示模块310及渲染模块320。[0063]显示模块310，用于在不同的所述VR应用运行的情况下，将该VR应用显示在所述容器内对应的虚拟显示区内。[00]渲染模块320，用于将该容器内所有虚拟显示区的显示内容渲染到所述VR系统的物理屏幕上，以使用户对多个所述虚拟显示区内的VR应用进行交互。[0065]本发明另一实施例还提供了一种VR设备，所述VR设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述VR设备执行上述的VR系统中多应用场景显示方法或上述的VR系统中多应用场景显示装置中各模块的功能。[0066]存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。[0067]本实施例还提供了一种计算机存储介质，用于储存上述的VR设备中所使用的VR系统中多应用场景显示方法。

[0068]在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0069]另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个的部分。[0070]所述功能如果以软件功能模块的形式实现并作为的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是智能手机、个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

[0071]以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何

8

CN 111736942 A

说　明　书

7/7页

熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

9

CN 111736942 A

说　明　书　附　图

1/3页

图1

图2

10

CN 111736942 A

说　明　书　附　图

2/3页

图3

图4

11

CN 111736942 A

说　明　书　附　图

3/3页

图5

图6

12