东莞市盛裕绒艺玩具有限公司

东莞市盛裕绒艺玩具有限公司

long8客户端娱乐

18867038691
联系方式
全国服务热线: 18867038691

咨询热线:13633693039
联系人:王贵宝
地址:吉林省长春市第一中学南门对过

用于多播实时流动互动式视频的视图的方法

来源:long8客户端娱乐   发布时间:2019-11-26   点击量:286

用于多播实时流动互动式视频的视图的方法

一种方法,包括:由服务器中心经由出埠互联网通信接口将流动互动式视频/音频流多播到多个目的地。给定视频/音频流同时被路由至多个目的地。在所述服务器中心的延迟缓冲器处接收所述视频/音频流中的至少一个,该延迟缓冲器存储该视频/音频流中的至少一个视频/音频流的可回放部分。

在家庭游戏控制台的状况下,硬件平台制造商通常向软件游戏开发商收取用于在其平台上发布游戏的能力的版税。移动电话无线通信公司通常也向游戏出版商收取用于将游戏下载到移动电话中的版税。在PC游戏的状况下,不存在用于发布游戏所支付的版税,但由于用于支持多种PC配置及可能引起的安装问题的较高消费者服务负担而使得游戏开发商通常面临高成本。而且,PC通常较少阻碍游戏软件的盗版,因为其可很容易地由精通技术的用户重新编程且游戏可更容易地被盗版且更容易地被分配(例如,经由互联网)。因此,对于软件游戏开发商而言,在游戏控制台、移动电话及PC上发行具有成本及不利之处。

其他压缩算法(诸如,来自Microsoft公司的MPEG2、H.264或VC9)当用于先前技术的配置中时,可实现高压缩比率,但以高延时为代价。所述算法利用帧间压缩以及帧内压缩。周期性地,所述算法执行帧的仅帧内压缩。这种帧被称为关键帧(通常称作“I”帧)。接着,该算法通常将I帧与先前帧与相继帧两者相比较。并非独立地压缩先前帧及相继帧,而是算法确定图像从I帧到先前帧及相继帧有什么改变,且接着将该改变储存为:“B”帧(对于I帧之前的改变)及“P”帧(对于I帧之后的改变)。这导致比仅帧内压缩低得多的数据速率。但是,其通常以较高延时为代价。I帧通常比B帧或P帧大得多(常常大10倍),且因此,以给定数据速率传输成比例地花费较长的时间。

给定图4a中所显示的主机服务的配置,则上述两段中所描述的使用模式导致资源的非常有效的利用。显而易见,存在对于可在给定时间由主机服务210来服务的用户的数目的限制,尤其在用户需要用于复杂应用程序(如尖端3D视频游戏)的实时响应性的情况下。但是,不同于家庭中的视频游戏控制台或由商业使用的PC(其通常在大多数时间闲置放置),服务器402可由不同用户在不同时间重新利用。举例而言,具有高性能双CPU及双GPU及大量RAM的高性能服务器402可由商业及学校在非假日的9AM至5PM利用,但由玩尖端视频游戏的游戏者在晚上、周末及假日利用。类似地,低性能应用程序可由商业及学校在商业小时期间在具有Celeron(赛扬)CPU、无GPU(或非常低端的GPU)及有限RAM的低性能服务器402上利用且低性能游戏可在非商业小时期间利用低性能服务器402。

给定图4a中所显示的主机服务的配置,则上述两段中所描述的使用模式导致资源的非常有效的利用。显而易见,存在对于可在给定时间由主机服务210来服务的用户的数目的限制,尤其在用户需要用于复杂应用程序(如尖端3D视频游戏)的实时响应性的情况下。但是,不同于家庭中的视频游戏控制台或由商业使用的PC(其通常在大多数时间闲置放置),服务器402可由不同用户在不同时间重新利用。举例而言,具有高性能双CPU及双GPU及大量RAM的高性能服务器402可由商业及学校在非假日的9AM至5PM利用,但由玩尖端视频游戏的游戏者在晚上、周末及假日利用。类似地,低性能应用程序可由商业及学校在商业小时期间在具有Celeron(赛扬)CPU、无GPU(或非常低端的GPU)及有限RAM的低性能服务器402上利用且低性能游戏可在非商业小时期间利用低性能服务器402。

图14示出了与客户端与主机服务之间的通信相关的示例性延时。

该视频/音频整合是通过使来自用户的相机/麦克风的经压缩视频和/或音频作为入埠互联网通信1501到达而完成。接着,入埠路由1502将该视频和/或音频路由到被准许观看/听到视频和/或音频的应用程序/游戏服务器1521-1525。接着,选择使用视频和/或音频的各别应用程序/游戏服务器1521-1525的用户解压缩视频和/或音频且视需要而将其整合以出现于游戏或应用程序内,诸如通过1900所说明的。

此外,假定一些游戏及应用程序需要比其他者多的计算能力,则可基于被用户玩的游戏或由用户执行的应用程序来动态地分配资源。因此,选择低性能游戏或应用程序的用户将被分配低性能(较低廉)服务器402,且选择高性能游戏或应用程序的用户将被分配高性能(较昂贵)服务器402。实际上,给定游戏或应用程序可能具有游戏或应用程序的较低性能及较高性能区,且可在游戏或应用程序的区之间将用户从一个服务器402切换到另一服务器402,以保持用户在满足游戏或应用程序的需要的最低成本服务器402上执行。注意,比单个磁盘快得多的RAID阵列405将可以被甚至低性能服务器402所用,这具有较快磁盘传送速率的益处。因此,跨越所有所玩游戏或所使用的应用程序的每服务器402平均成本比玩最高性能游戏或应用程序的大多数昂贵服务器402的成本小得多,然而,即使低性能服务器402也会从RAID阵列405得到磁盘性能益处。

多个用户合作

上述问题的一个方法是在线游戏,其中将游戏程序代码及数据主机代管于服务器上且按要求将其传送至客户端机器,经压缩的视频及音频经由数字宽带网络而流动。一些公司(诸如,芬兰的G-Cluster(G-群集公司),其现在为日本的SOFTBANKBroadmedia(软银宽媒)的子公司)当前在线提供所述服务。类似游戏服务变得在本地网络(诸如,旅馆内及由DSL及电缆电视提供者提供的那些网络)中可用。这些系统的较大缺点是延时的问题,也即,信号行进到游戏服务器及从游戏服务器行进所花费的时间,游戏服务器通常定位在运营商的“前端”中。快速动作视频游戏(也称为“极速(twitch)”视频游戏)在用户通过游戏控制器执行动作的时间与更新显示屏幕以显示用户动作的结果的时间之间需要非常低的延时。需要低延时,以使得用户感觉到游戏“即刻地”响应。可视游戏的类型及用户的熟练程度而以不同延时间隔来满足用户。举例而言,对于缓慢的非正式游戏(类似西洋双陆棋)或慢动作角色扮演游戏而言,100毫秒的延时可能是可容忍的,但在快动作游戏中,超过70毫秒或80毫秒的延时可引起用户在游戏中更拙劣地表现,且因此不可接受。举例而言,在需要快反应时间的游戏中,当延时自50毫秒增加至100毫秒时,存在准确度的锐降。

用于多播实时流动互动式视频的视图的方法

一种方法,包括:由服务器中心经由出埠互联网通信接口将流动互动式视频/音频流多播到多个目的地。给定视频/音频流同时被路由至多个目的地。在所述服务器中心的延迟缓冲器处接收所述视频/音频流中的至少一个,该延迟缓冲器存储该视频/音频流中的至少一个视频/音频流的可回放部分。

图8示出了在一个实施例中使用的额外实例视频压缩技术。

此对于高性能盗版视频游戏的用户同样成立。尽管盗版者可以用游戏的实际价格的一小部分得到游戏,但其仍需要购买适当地玩游戏所需的昂贵计算硬件(例如,GPU-增强型PC,或类似XBox360的高端视频游戏控制台)。假定视频游戏通常是消费者的娱乐,则用于高端视频游戏系统的额外成本可能是过于昂贵的。该情形在当前工人的平均年收入相当低(相对于美国的当前工人平均年收入)的国家(例如,中国)中更糟。这样,小得多的百分比的人口拥有高端视频游戏系统或高端PC。在这些国家中,用户可支付费用以使用连接到互联网的计算机的“网吧”相当普遍。经常地,所述网吧具有不具有高性能特征(诸如,原本可使玩家能够玩计算上密集的视频游戏的GPU)的较旧型号或低端PC。这是在低端PC上执行的游戏成功的关键因素(诸如,Vivendi的“魔兽世界”,其在中国高度成功,且通常是在中国的网吧中玩)。相比之下,计算上密集的游戏(如“第二人生”)更不可能在安装于中国网吧中的PC上玩。所述游戏实际上对于仅能够存取网吧中的低性能PC的用户来说是不可访问的。

一些系统试图同时地重迭程序代码的载入与游戏播放,但这仅可在存在已知序列的事件时进行(例如,若正沿道路驾驶车,则可在驾驶车的同时载入路旁的正接近的建筑物的几何形状)。对于复杂和/或快速场景改变,此类型的重迭通常不起作用。举例而言,在用户处于战役进行之中且在那时刻的视图内RAM101完全被填满表示对象的数据的状况下,若用户将视图快速地向左移动以观看当前未载入在RAM101中的对象,则将导致动作的不连续性,因为不存在足够的时间来将新对象自硬盘驱动器103或光学媒体104载入到RAM101中。

还由于在服务器中压缩视频及在客户端设备中解压缩视频所需的时间而造成延时。当在服务器上执行的视频游戏正在计算待显示的下一个帧时,进一步造成延时。当前可用的视频压缩算法受到高数据速率或高延时。举例而言,运动JPEG为仅帧内有损的压缩算法,该压缩算法特征为低延时。视频的每个帧独立于视频的每个其他帧而压缩。当客户端设备接收经压缩的运动JPEG视频的一个帧时,其可立即解压缩该帧且显示该帧,从而导致非常低的延时。但因为每个帧分开进行压缩,所以算法不能够利用连续帧之间的类似性,且因此仅帧内视频压缩算法受到非常高俄数据速率。举例而言,60fps(每秒帧数)640X480运动JPEG视频可能需要40Mbps(每秒百万比特)或40Mbps(每秒百万比特)以上的数据。用于所述低分辨率视频窗的所述高数据速率在许多宽带应用程序中将是过于昂贵的(且对于大多数消费者的基于互联网的应用程序的确如此)。另外,因为每个帧经独立压缩,所以可能由于有损压缩而产生的帧中的假影可能出现于连续帧中的不同位置处。这可导致当解压缩视频时,在观看者看来为移动的视觉假影。

诸如图1中所显示的先前技术方法的先前技术方法的另一问题在于:这些年来,视频游戏倾向于变得更高级且需要更多CPU/GPU处理能力。因此,即使采用无限量的RAM,视频游戏硬件要求也超过所述系统中可用的处理能力的峰值水平。因此,需要用户每隔几年升级游戏硬件以保持同步(或以较低质量水准玩较新游戏)。比以往更高级的视频游戏的趋势的后果为:用于家庭用途的玩视频游戏的机器通常不具经济效益,因为其成本通常由其可支持的最高性能游戏的要求来确定。举例而言,可能使用XBox360来玩类似“战争机器(GearsofWar)”的游戏,该游戏要求高性能的CPU、GPU及几亿字节的RAM,或者可能使用XBox360来玩“吃豆(PacMan)”,其为来自20世纪70年代的游戏,其仅需要几千字节的RAM及非常低性能的CPU。实际上,XBox360具有同时主机代管许多同时的“吃豆”游戏的足够计算能力。

实时动画期间流动的几何形状

用于减轻具有高峰值的视频流的一个先前技术解决方法是使用常常被称作“恒定比特速率”(CBR)编码的技术。尽管术语CBR看来似乎暗示将所有帧压缩以具有相同比特速率(也即,大小),但其经常提及的为压缩范例,在压缩范例中,允许跨越特定数目的帧(在我们的状况下,I个帧)的最大比特速率。举例而言,在图6c的状况下,若对编码施加CBR约束(其将比特速率限于(例如)额定最大数据速率621的70%),则压缩算法将限制所述帧中的每一者的压缩,以使得通常将使用额定最大数据速率621的70%以上来压缩的任何帧将以较少比特来压缩。这个结果是:将使通常将需要更多比特来维持给定质量水平的帧“极度缺乏”比特且所述帧的图像质量将比不需要比额定最大数据速率621的70%多的比特的其他帧的图像质量糟。此方法对于特定类型的经压缩视频(其中(a)预期较少运动或场景改变且(b)用户可接受周期性的质量降级)可产生可接受的结果。适合CBR的应用的良好实例为视频电话会议,因为存在较少峰值,且在质量暂时降级的情况下(例如,若使相机扫视,从而导致显著场景运动及大峰值,则在扫视期间可能不存在足够的比特用于高质量图像压缩,其将导致降级的图像质量),大多数用户可接受。很遗憾地,CBR并非良好地适合具有高复杂度的场景或大量运动和/或需要合理恒定的质量水平的许多其他应用。

同时,服务器402经由其数字音频输出端(例如,S/PDIF)输出由游戏或应用程序产生的音频,该数字音频输出端耦合至实施视频压缩的以双四核Xeon为基础的PC上的数字音频输入端。Vorbis开源音频压缩器用于使用可用于处理线绪的无论什么核心来与视频同时地压缩音频。在一个实施例中,完成压缩其图像块的核心首先执行音频压缩。接着将经压缩的音频连同经压缩的视频一起传输,并在客户端415上使用Vorbis音频解压缩器来解压缩经压缩的音频。

另外,游戏、应用程序、互动式电影等可能不再如现今这样被盗版。因为游戏是在服务器中心处执行,所以用户不具备对于基本程序码的存取,因此不存在盗版。即使用户将要复制原始码,用户也不能够在标准游戏控制台或家庭计算机上执行该码。此打开了标准视频游戏不可用的世界各地(诸如,中国)的市场。已使用的游戏的重新销售也是不可能的。

该视频/音频整合是通过使来自用户的相机/麦克风的经压缩视频和/或音频作为入埠互联网通信1501到达而完成。接着,入埠路由1502将该视频和/或音频路由到被准许观看/听到视频和/或音频的应用程序/游戏服务器1521-1525。接着,选择使用视频和/或音频的各别应用程序/游戏服务器1521-1525的用户解压缩视频和/或音频且视需要而将其整合以出现于游戏或应用程序内,诸如通过1900所说明的。

主机服务210的另一特征是多个用户在观看现场直播的视频的同时合作的能力(即使使用迥然不同的设备来观看也如此)。当玩游戏时及当使用应用程序时,这都有用。

图5示出了可根据一个实施例而使用的视频压缩的一个实例。

另一先前技术方法允许具有电视接收器的观看者观看视频游戏现场直播,但仅在电视制作人员的控制下。美国与其他国家中的一些电视频道提供视频游戏观看频道,其中电视观众能够在视频游戏频道上观看特定的视频游戏用户(例如,参加锦标赛烦人顶级玩家)。这通过将视频游戏系统(PC和/或控制台)的视频输出馈送至用于电视频道的视频分配及处理设备中来完成。这正如电视频道广播现场直播的篮球比赛时的情况,其中若干个相机从篮球场周围的不同角度提供现场直播的馈送。电视频道接着能够利用其视频/音频处理及效应设备来操作来自各种视频游戏系统的输出。举例而言,电视频道可在来自视频游戏的视频之上叠加指示不同玩家的状态的文字(正如其可在现场直播的篮球比赛期间叠加文字),且电视频道可加录来自评论员(其可论述在比赛期间出现的动作)的音频。另外,可将视频游戏输出与记录游戏的实际玩家的视频的相机(例如,显示玩家对游戏的情绪反应)组合。

相关产品

COPYRIGHTS©2017 long8客户端娱乐 ALL RIGHTS RESERVED 备案号:286