博弈论制胜数据中心
#111723#“数据核心”和“博弈”(其英文为game,亦有游戏之意)二词可能会让人遐想到《魔兽天下》等多人在线游戏。但数据核心内还演出着另一种博弈,即同享盘算机和存储体系对资本的抢占。 乃至数据量可谓最大的谷歌公司的员工也曾停止过如许的博弈。当请求提交某项任务的盘算需要时,一些员工为了增加与别人同享的资本数目而夸张资本要求。风趣的是,另有些员工会增加资本要求,伪装本人的义务能够在任何盘算机中轻松实现。一旦他们的义务被提交到呆板上,就会耗尽呆板上全部可用的资本,挤兑其余义务。 这类手法看起来有点幽默,现实上却激发了真正的成绩——效力低下。 2018年,寰球数据核心耗电量达2050亿千瓦时,差未几和澳大利亚全境的用电量相称,约占全天下总用电量的1%。因效劳器未能满负荷运转,大批动力被挥霍。一台效劳器闲暇时耗费的电力是其峰值运转时的50%,由于效劳器运转义务时,其牢固电力本钱会摊派到该义务上。
运转单义务的用户平日只占用20%到30%的效劳器资本,因而多个用户必需同享效劳器,以进步应用率,进而晋升动力效力。同享效劳器还能够下降资金、经营和基本设备的本钱。究竟并非大家都有充足的财力来树立属于本人的数据核心。
为了调配同享资本,数据核心安排资本治理体系,依据用户需要和体系本身目的来调配可用的处置器内核、内存容量和收集资本。乍一看,这项义务应该是简略明白的,由于用户常常会有互补需要。但现实并非如斯。同享形成了用户之间的竞争,就如谷歌投契取巧的员工那样,这会歪曲资本的应用。因而,咱们展开了一系列名目,采取博弈论,即描写感性决议者之间战略互动的数学模子,来治理利己用户之间的资本调配,实现数据核心效力最大化。采取博弈论后,情形变得大为差别。
辅助一群感性而利己的用户无效同享资本不是大数据时期的产品。几十年来,经济学家始终在如许做。在经济学中,市场机制依据供求来决议资本的价钱。现实上,亚马逊EC2和微软Azure等大众数据核心中都安排了此类机制。在那边,实在的货泉转移作为一种东西,应用户念头(机能)与供给商目的(效力)趋于分歧。
但是,良多情形下,货泉交流并不起感化。举一个简略的例子。假定你在最好友人的婚礼上失掉一张歌剧票,你决议把票赠予给最爱好这场歌剧的人。因而你要停止所谓的第二价钱密封拍卖:你让友人出价,划定赢家付出第二高的竞价。数学上曾经证实,在这场拍卖中,你的友人没有念头谎报对这张歌剧票的估价。假如你不想要钱或不让友人付给你钱,你的抉择就会变得十分无限。
假如你讯问友人想看歌剧的志愿,他们定会夸张想要歌剧票的欲望。歌剧票只是一个简略的例子,但在良多处所,比方谷歌私家数据核心或学术盘算机集群,款项要末不能转手,要末不应转手,因而不能以此来决议归谁全部。博弈论刚好为此类成绩供给了适用的处理计划,并已适用于盘算机收集和盘算机体系。咱们能够从这两个范畴取得灵感,但也不用处理其范围性。为防止盘算机收集堵塞,人们在计划治理机制方面做了良多任务,以此来治理自利和不调和的路由器。
然而这些模子只斟酌了对单个资本——收集带宽——的争抢;而在数据核心盘算机集群和效劳器中,要争取的有种种百般的资本。在盘算机体系中,人们对斟酌多种资本调配机制的兴致越来越浓重,此中十分有名的是主体资本公正机制。但是,这类任务仅限于机能模子以及处置器与内存的比率,并不总能反应数据核心的情形。为提出实用于数据核心的博弈论模子,咱们深刻研讨硬件架构的细节,从最小档次——晶体管开端。
临时以来,晶体管功耗随体积缩小而下降,部份缘由在于任务电压下降。但是,20世纪初,这类被称为登纳德缩放比例的定律被攻破。其成果是,在牢固功率估算内,处置器的速率不能再依照咱们习气的速率增加。常设处理计划是在统一芯片内安顿多个处置器内核,如许仍能够经济地冷却大批的晶体管。但是,你很快发明,长时光全速开启运转全部内核会融化芯片。
2012年,盘算机架构师提出了一种叫作“盘算冲刺”(computational sprinting)的变通方式。其观点是,处置器内核在较短的时光隔内保险地冲破功率估算,称为冲刺。一次冲刺以后,处置器必需鄙人一次冲刺之前冷却上去;不然芯片就会损毁。假如处置切当,冲刺可使体系更疾速地呼应任务负载的变更。冲刺盘算最初针对的是智妙手机等挪动装备的处置器,这些处置器必需限度功耗,节俭电量,同时防止灼伤用户。但冲刺很快便利用于数据核心,辅助处置刹时激增的盘算需要。
这就是成绩地点。假定无私用户启用可实现冲刺的效劳器,这些效劳器在数据核心中同享一个电源。用户能够通过冲刺来进步处置器的盘算才能,但若浩繁处置器同时冲刺,电源负荷将会激增,断路器将跳闸。在体系规复时,迫使不中断电源(UPS)中的电池供给电力。电力应急状态呈现后,电池须要充电,在此时期衔接此电源的全部效劳器都必需按额外功率运转,不容许冲刺。
这类情况是典范“公地喜剧”的一个版本,英国经济学家威廉?福斯特?罗伊德 (William Forster Lloyd)在1833年的一篇文章中初次提出这一律念。他描写了以下情形:假定牧平易近同享一片牧牛地。假如一名牧平易近的牧牛超越划定数目,他便可以取得边沿收益。但假如很多牧平易近效仿,适度放牧就会损坏地皮,无人能独善其身。
咱们与事先杜克大学的博士生樊淞春(Songchun Fan,音)将冲刺战略作为公地喜剧来研讨。咱们构建了一个存眷两个重要物理束缚的体系模子。起首,对于效劳器处置器,在芯片散热时,请求处置器等候,并限度下一次冲刺操纵。
其次,对于效劳器集群,假如断路器跳闸,在不中断电源(UPS)电池充电时期,全部效劳器处置器都必需等候。咱们计划了一个冲刺博弈游戏,用户在每一回合中可能处于活泼状况、冲刺后的冷却状况或紧迫断电后的规复状况。
在每个回合,或许每一轮游戏中,用户独一的决议是处置器处于活泼状况时能否停止冲刺。用户盼望优化冲刺的收益,比方进步吞吐量或增加履行时光。留神,这些收益会跟着冲刺的时光而变更。比方,需要越高,冲刺收益越大。
举一个简略的例子。假设你正处于第5回合游戏,冲刺将为你带来10个单元的收益。但是,你必需让处置器冷却几轮才干再次冲刺。假如比及第6回合再冲刺,你能够取得20个单元的收益。或许你盘算不在第5回合冲刺,而保存到将来某一回合,但全部其余用户都决议在第5回合冲刺,因而呈现了电力应急情形,致使你没法在前面数回合中冲刺。更蹩脚的是,你的收益下降了。
全部用户的决议都必需基于他们的获益和其余用户的冲刺战略。当多数几个用户博弈时也许很风趣,但当竞争敌手的数目增加到数据核心范围时,决议就变得十分辣手。幸亏,咱们发明了在大型体系中优化每个用户战略的方式,即所谓的均匀场博弈剖析。这一方式将用户行动描写为一个团体,防止了审阅每个竞争敌手战略的庞杂性。
这类统计方式的要害是假定任何单个用户的举措都不会显明转变均匀体系行动。基于这一假定,咱们可估量全部用户对恣意指定用户形成的影响。这相似于千百万个下班族试图优化平常出行的方式。比方有一个下班族名叫爱丽丝,她弗成能对每个路人的出行方法停止揣摸,但她能够将全部下班族作为一个群体来构成某种猜测,比方某一天他们盼望达到的时光,以及他们的出行打算对交通拥挤的影响。均匀场博弈剖析可能使咱们找到冲刺游戏的“均匀场均衡”。
用户优化本人对群体的呼应,在均衡状况下,偏离用户对群体的最好呼应不会给用户带来好处。在交通范畴的类比中,爱丽丝据其对通勤群体均匀行动的懂得来优化本人的通勤。假如优化后的打算未能到达预期交通形式,她会校订猜测偏重新斟酌打算。跟着每位下班族几天优化一次,交通趋于某种反复的形式,下班族的自力行动便会发生一种团体的均衡。
依据均匀场均衡,咱们制订了冲刺博弈游戏的最优战略,可归纳以下:当机能增益超越某个阈值(详细视用户而定)时,用户应冲刺。能够通过数据核心的任务负载及其物理特征来盘算这一阈值。
在均匀场均衡状况下,每位用户都以其最优阈值运转,体系可取得诸多收益。起首,数据核心的电源能够实现散布式治理,用户不必向中心治理器要求冲刺允许,可自行实行战略。这类自力使电源把持愈加敏锐、节能。用户能够在几微秒的时光内调理处置器功耗,而假如他们必需等候几十毫秒才干取得允许并通过数据核心,那末这类后果将难以实现。其次,均衡能够实现更多盘算任务,用户能够依据本人的任务负载需要合时优化冲刺战略。最后,用户的战略变得简略明白——当增益超越阈值时停止冲刺。这十分易于实现,且便于履行。
咱们在从前5年里开辟了一系列数据核心治理体系,冲刺电源治理名目仅仅是此中之一。在每一个体系中,咱们都应用硬件架构和体系的要害细节来计划博弈。当参加者表示出无私的行动时,建成的适用治理机制也可保证体系可能稳固运转。咱们信任,这类保证会激励参加同享体系,并为节能和可扩大的数据核心奠基坚固基本。
虽然咱们曾经想法处理效劳器多处置器、效劳器机架和效劳器集群级其余资本调配成绩,然而将它们用于大型数据核心仍将须要更多的任务。起首,必需可能天生数据核心的机能设置文件。数据核心必需安排监督硬件运转的须要设备、评价机能后果并推算资本参数。
此类体系的少数博弈论处理计划都要离线剖析阶段。而更踊跃一点的方式,能够从一些先验常识开端制作在线机制,而后在履行进程中跟着特点变得更清楚,一直更新其参数。乃至可能通过强化进修或其余情势的人工智能来在线改良机制的博弈规矩。别的,在数据核心,用户可能随时达到和分开体系;义务可能会在差别阶段进入和退出;效劳器可能会产生毛病偏重新启动。
全部这些变乱都须要从新调配资本,然而资本的从新调配可能会损坏全部体系的盘算,请求数据分流,从而耗尽资本。在坚持每团体公正博弈的同时,应答全部这些变更都须要停止更多的任务,但咱们信任博弈论将施展其应有的感化。
更多内容阅读推荐:燃气灶出火不匀怎么修
页:
[1]