信惠通信技术与政策|2021年第4期 数据中心能效优化策略研究 钱声攀邱奔”李哲王少鹏 （1.中国电力科学研究院有限公司信息通信研究所，北京100192； 2.中国信息通信研究院云计算与大数据研究所，北京100191） 摘要：数据中心数量及规模的增长使得数据中心能耗问题愈发凸显，多国政府针对数据中心能耗问题制 定了相应的致策、法规，以促进数据中心节能.
对数据中心能耗构成及能效指标进行了研究，从供配电 系统、制冷系统及IT设备3个方面对数据中心能效影响因素选行了分析，然后对当前主流的数据中心 能效优化策略进行了总结；在此基础上，提出了数据中心即服务的能效优化策略，该能效优化策略充分 考察了数据中心服务性能和能耗的医配性，能够有效实现数据中心全局能效优化.
关键词：数据中心；能效优化：策略 中图分类号：F49：TP393文献标识码：A 引用格式：钱声募，邱奔，李暂，等，数据中心能效优化策略研究[J].信息通信技术与政策，2021，47 ( 4) : 19-26. doi : 10. 12267/j. issn. 2096-5931. 2021. 04. 004 0引言 的工作，通过制定数据中心能效评价指标对数据中心 能效状况进行分析和评估，从而指导数据中心能效 近年来，通信、互联网、金融及一些传统工业企业 优化.
都开始加入到数据中心投资建设的浪潮中，数据中心 可持续发展观念的普及，以及我国政府碳达峰、碳 建设总体规模较之前有明显提升.
尽管数据中心较好 地支撑了信息产业的发展，但是数据中心的能耗问题 中和工作目标的确立使得数据中心能效优化策略的研 也日益凸显，据国际环保组织绿色和平与华北电力大 究变得十分重要，绿色数据中心、零碳数据中心是数据 学联合发布的数据显示，2018年我国数据中心用电总 中心产业发展的必然趋势.
良好的能效优化策略能够 量达到1608.89亿千瓦时，占我国社会总用电量的 有效降低数据中心能耗，推动数据中心绿色发展.
2.35%，到2023年，该数值可能会达到2667.92亿 1能耗组成与能效指标分析 千瓦时.
数据中心的高能耗问题引起了各国政府、业内机 1.1数据中心能耗构成 构及专家的广泛关注.
多国政府出台了数据中心能效 数据中心能耗主要由两部分构成，分别是IT设备 管理政策及法规，并对数据中心能效提出了更高的要 和基础设施（见图1）.
其中，IT设备可以被认为是数 求.
在我国，2019年工业和信息化部发布了《关于加 据中心的获利之源，数据中心主要是通过IT设备为企 强绿色数据中心建设的指导意见》，明确提出，到2022业及用户提供LkaSPaaS及SaS等多种类型的基础服 年我国新建数据中心PUE应低于1.4.
同时，为应对务，并通过这些服务获得收益，IT设备主要由服务器、 数据中心高能耗问题，行业组织和专家也开展了大量存储及网络设备构成.
基础设施主要由供配电、制冷、 *基金项目：国家重点研发计划“云计算和大数据“重点专项项目（No.2017YFB1010005）资助 19
专题：数据中心 数据中心 电能损耗，使更多电能被IT设备利用.
在系统及设备 层面上，服务器能效比、COPEEF和PF等能效指标从 IT设备 基础设施 本质上来看都反映了系统输入与输出的比值，因此在 对系统或设备进行能效优化时，其基本思路是减少电 能损耗，扩大有效输出.
服务器 存储 存储 制冷 供配电 图1数据中心能耗来源分解 2影响数据中心能效的因素 数据中心能耗主要由供配电系统、制冷系统及IT 照明、办公、消防、安保等系统构成，基础设施是确保IT 设备能耗构成，因此在分析数据中心能效影响因素时， 设备能够正常运行的重要保障.
在上述能耗设备中， 可以重点从这三个方面进行分析.
供配电系统、制冷系统及IT设备能耗占比较高，通常 2.1供配电系统 情况下，IT设备能耗占比最大，其次是制冷系统.
数据中心供配电系统将为数据中心制冷设备、IT 1.2数据中心能效指标 设备、照明设备及其他设备提供电能支持，电流在流人 制定合理的能效评价指标是开展数据中心能效评 数据中心的过程中将会依次经过传人、传输、使用和备 估及能效优化的先决条件，不少行业组织针对数据中 份这4个环节“.
如图2所示，传人环节的电能损耗 心能效制定了相应的评价指标.
例如，美国绿色网格 主要由变压器产生，传输环节的电能损耗由线路和各 联盟(The Green Grid TGG)定义了 PUEDCiE CLF/ 类配电设备产生，使用环节的电能损耗由服务器开关 RLF、CUE、WUE、ITTC、ITTR等能效指标，我国云计算 电源产生，备份环节的电能由蓄电池存储.
发展与政策论坛（China Cloud Computing Promotion and Policy Forum，3CPP）发布的《数据中心能效测评 输人UPS输出 指南》进一步引人了pPUE指标，该指标主要对数据中 发电机 配电系统配电 转换开关 心部分设备或区域能效状况进行评估.
在服务器能效 配 指标方面，开放数据中心委员会（OpenData Center 变 电 列头 负藏 IT Committee，ODCC）发布的《服务器能效测试白皮书》 压 市电 对服务器整数运算、浮点运算、读写速度、Web性能等 活动的能效比进行了定义.
在基础设施方面，制冷行 业普遍采用COP对制冷设备能效状况进行评估，供配 配电 空调制 冷系统 电系统则可以利用电源转换效率EF和电源功率因 图2数据中心供配电系统的构成 数PF指标进行评估.
在众多能效评估指标中，PUE是当前最受产业界 在传统数据中心机房中，传输环节中的UPS配电 认可的数据中心能效评估指标之一.
PUE在数值上等 设备电能损耗占比较高，因此针对UPS电源的能效优 于数据中心总能耗与IT设备能耗之比，PUE能够反映 化策略研究相对较多.
UPS电源电能转换效率是负载 出数据中心总供电中有多少电能被IT设备使用，PUE 率的函数，负载率为40%-80%时，效率曲线刚性较 值越小表明数据中心IT设备能耗占比越高，数据中心 强.
在通常情况下，UPS负载率不宜超过80%，长期 电能得到了更加有效的利用.
高负荷运行可能会缩短UPS使用寿命.
数据中心能效指标为数据中心能效优化提供了方 UPS供电环节的电能损耗与其本身的供电特性及 向.
以PUE为优化目标，从数据中心整体层面上来 负载变化有关.
从UPS供电特性角度来看，UPS能够 看，数据中心能效优化的基本目标是对PUE进行优 将交流电转变为直流电，电流在流过UPS和服务器电 化，PUE优化的基本思路是在不影响数据中心业务处 源时将会经过AC（220V、50 Hz）-DC（400V）、DC 理能力的基础上，尽量降低供配电系统及制冷系统的 （400V)-DC（12V)这两个过程，UPS在电能转换过 20 -
信息通信技术与政策|2021年第4期 程中产生的电能损耗往往难以避免.
从负载变化角度 局部热点是机房内温度场不均匀分布引起的局部 来看，不少数据中心在进行供配电系统设计时，往往会过热现象，局部热点的产生会使IT设备运行环境恶 按照IT设备最高负载下的电力需求进行余设计，面化；同时，制冷设备需要提供更大的制冷量才能平衡局 实际上数据中心大多时候运行负载并非处于高负载运部热点，这会增加制冷能耗”.
在高密度部署的数据 行状态，低负载状态下UPS电能转换效率低，这使得 中心机房内，业务负载在分配过程中可能会集中到局 数据中心UPS能效无法得到进一步的提升.
部区域设备，使局部区域设备产生较高热量，形成局部 2.2制冷系统 热点.
此外，还有些机房存在制冷设备冷量分配不合 数据中心热量的集聚将会对数据中心IT设备造 理、气流组织紊乱等问题，例如在风冷直流制冷系统 成巨大的损害，在严重情况下，甚至会造成设备岩机.
中，热风回流现象会导致数据中心机房温度分布不均， 数据中心制冷系统主要由末端精密空调、AHU（组合造成局部热点，并使制冷系统效率降低".
式空调箱）、风机、冷水机组、冷却塔等设备构成.
2.3IT设备 数据中心制冷系统能耗与制冷系统能效比、外部 IT设备是数据中心各项业务活动的主要承担者， 可用自然冷源及机房内局部热点等因素有关.
制冷系 IT设备能耗主要与虚拟化技术应用程度、IT设备自身 统能效比是指制冷系统消耗单位电能产生的制冷量， 能效比及IT设备利用率等因素有关.
在数据中心发展早期，制冷系统末端以风冷直膨式家 在虚拟化技术支持下，数据中心内的计算、存储及 用空调为主，制冷系统能效比较低.
随着水冷系统、新 网络资源将会以资源池的形式呈现，底层硬件的差异 型精密空调末端及液冷技术的发展，数据中心制冷系 性将被屏蔽，数据中心能够根据用户需求为其提供相 统能效比不断提升，制冷能力不断增强，例如风冷直膨 应的资源，实现资源的动态调度和按需分配，数据中心 式精密空调的COP通常低于3.0，冷水机组的COP可 资源调度效率得到明显提升，这也意味着在相同能耗 以达到3.0-6.0.
在制冷设施不断发展的同时，数 条件下数据中心能够对外提供更多服务.
据中心制冷设施布局也在发生变化，数据中心制冷末 IT设备能效比是指IT设备单位功耗可以处理、存 端正在不断向热源靠近，逐渐从早期的房间级制冷向 储及传输的数据量，IT设备能效比越高表明数据中心 着行级、机柜级和服务器级方向演进.
制冷末端越靠 设备节能效果更高.
IT设备能效比与IT设备在设计 近热源，制冷效率越高，但是前期投人也会相对较高， 过程中的硬件配置及制造技术有关.
同时靠近热源的制冷系统容易产生单点故障，运维难 IT设备利用率是指IT设备为了处理某项业务面 度较高”.
液冷技术就是一种典型的服务器级制冷技 利用的各类资源占资源总量的比值，业务负载量的增 术，近年来，液冷技术正在逐渐兴起，液冷技术依靠液 加会导致IT设备资源利用率的增加，IT设备使用资源 体传热媒介对机柜或IT部件进行换热制冷，液体比热 量越多时，维持这些资源运行所消耗的电能也就越多.
容远高于气体，制冷效率更高，节能效果更好.
在IT设备中，服务器能耗占比较高，因此IT设备资源 从外部可用自然冷源角度来看，外部自然冷源越 利用率的研究通常针对服务器来展开，服务器资源利 充分时，数据中心制冷系统机械制冷的时间可以进一用率可以通过构建加性模型或基于CPU使用率的能 步缩短，制冷系统能耗越低.
根据采用自然冷源的类 耗模型来进行描述，加性模型将服务器能耗描述成各 型不同，可以将自然冷源制冷技术分为风冷自然冷和 部件，如CPU、内存、磁盘、I/O设备和网卡等部件的能 水冷自然冷，两种自然冷技术各有利弊，水冷自然冷设 耗之和，但是现有监测平台在服务器子系统能耗测量 施部署相对复杂，但是节能效果显著，在我国数据中心 方面较为困难，这使得该模型难以应用于工程实践.
项目设计中受到广泛认可；风冷自然冷设计简单，但是未 考虑到CPU能耗在服务器总能耗中所占比例较高，因 会受到外界空气质量制约，低质量的空气在进人到数 此服务器能耗通常被描述为CPU利用率的线性或非 据中心后会对IT电子元器件造成侵蚀，间接风冷虽然 线性函数.
能够通过间接换热避免新风进人数据中心，但是该技 常见的线性表示方式为：P=（P-P） 术设备体积过大，难以大规模推广.
P.
其中，P和P分别是服务器满载及空闲时 21
专题：数据中心 的功率，为CPU利用率.
热负荷，非液冷提供机房全局制冷.
CPU能耗不仅与利用率有关，同时还与其时钟類 3.2.2提升IT设备的耐热性能 率存在以下关系：PACVf.
其中，A为转换系 IT设备耐热性能提升后，数据中心制冷系统制冷 数，C为常数，V为电压f为时钟频率.
CPU运行频率量也会相应减少，制冷系统能耗自然降低.
对于新建 越高，其能耗越高，同时CPU业务处理速度也会相应数据中心，承建方可以在考虑节能及成本的基础上为 提升.
数据中心部署能效比较高的制冷设备及耐热性能更好 3数据中心能效优化策略 的IT设备.
在耐高温服务器设计方面，国内外有不少 企业已经开始进行耐高温设备的设计开发，华为公司 3.1供配电系统能效优化策略 通过服务器主板布局设计和散热设计打造耐高温服务 在供配电系统中，UPS能效优化策略主要有两种， 器，其开发的RH机架全系列服务器、E9000刀片服务 一是根据数据中心负载动态变化来动态调控UPS电 器皆可支持40C高温环境.
耐高温IT设备的出现将 源，具有休眠节能功能的UPS系统能够实时监测系统 会有效缓解数据中心制冷压力，同时也会在很大程度 负载率大小，当负载率低于设定值时，UPS进人休眠状 上提升IT设备运行安全性.
态，负载率超过设定值时，休眠的UPS启动并投人到 3.2.3充分利用自然冷源，减少制冷系统能耗 并联系统中；二是在同一时间将高负载和低负载任 该策略不仅要考虑引人新型制冷系统，同时还需 务放置在同一级电力设施中，这将有效提升数据中心要外部环境的支持.
在一些自然冷源相对充裕的地 UPS电源的电能转换效率，降低UPS电能损耗.
区，数据中心可以充分利用风冷自然冷或水冷自然冷 一步提升，高压直流（HDVC）具备可靠性高、成本低的公司，如阿里巴巴、优刻得和快手等，都纷纷选择在内 特点，逐渐在数据中心供电系统中端露头角，“HDVC 蒙古乌兰察布地区建设数据中心，这与乌兰察布市全 市电直供”模式供电效率可以达到94%-95%，HDVC 年平均气温较低有着密不可分的关系，乌兰察布市全 离线模式供电效率则可以进一步达到97%以上.
目 年平均气温为5℃-7℃，建设在乌兰察布的数据中心 前，BAT等大型互联网公司广泛采用HDVC进行数据 每年可以享受到近10个月的自然冷源，这将有效降低 中心供电，HDVC将成为数据中心供电系统节能的重 数据中心制冷系统能耗.
在我国，冷源比较充沛的地 要技术方向.
区，其地理位置通常较为偏远，如云南、贵州和内蒙古 3.2制冷系统能效优化策略 等地，而从数据中心算力需求角度来看，我国东部地区 数据中心的制冷量与数据中心机房内的总热量呈用户对算力需求明显高于中西部，在偏远地区建设数 供应，同时还需要确保这些冷量分配到局部IT负载.
质量问题.
因此，数据中心在选址时应该在服务质量 数据中心制冷系统能效优化可以从以下几个方面来 和节能之间寻求平衡点.
考虑.
3.2.4消除机房局部热点 3.2.1根据实际情况选用适合的制冷技术 机房局部热点的消除可以从温度控制和负载控制 数据中心需要根据机房功率密度、运维能力及资 两个角度着手，从温度控制出发，可以通过CFD仿真 金等情况灵活选用适合的制冷技术，在条件允许的情 模拟数据中心机房内的气流组织情况，提出气流优化 况下，尽量选用能效比较高的制冷设施.
冷水机组能 方案，改善机房热风回流、气流不畅等问题，有效提升 淘汰能效比较低的制冷设备，引人风冷、水冷冷水机组 载分配分散度函数模型，改善负载分配，防止负载集中 等新型制冷设备.
机柜功率密度低的数据中心可以直到局部区域，形成局部热点.
以综合采用液冷和非液冷制冷方案，由液冷承担主要 在IT设备中，服务器能耗占比较高，服务器能耗 22
信息通信技术与政策|2021年第4期 优化策略主要分为两大类，一类是基于硬件性能的能 系统，实现了制冷设备及供配电系统的节能调度.
为 效优化，另一类是基于负载调度的能效优化.
基于硬了更好地实现供配电系统及制冷系统随着业务负载的 件性能的能效优化主要是指通过研发低能耗电子元件 动态调度，艾默生公司通过开发IPS和PEX空调群控 或采用动态调压调類（Dynamic Voltage and Frequency 功能实现这一动态调度需求.
Scaling，DVFS)技术来降低服务器能耗.
DVFS 通过 调整CPU电压和频率方式来调节处理器用电量， 4数据中心即服务能效优化策略 DVFS会在一定程度上降低系统的实时性.
DVFS可 虚拟化技术及云计算管理框架的快速发展使得数 以和批处理技术相结合，在负载较低时，将网络请求缓 据中心能够将各类资源，如IT资源及基础设施资源， 存起来，利用DVFS技术降低处理器能耗，此时请求响 以资源池的方式呈现给运维人员及终端用户，用户不 应时间的下降对系统负载处理性能的影响较小.
随着 需要特别关注底层硬件差异，而是能够以统一的接口 数据中心业务负载量的增加及业务实时性要求的提 调用各类资源，获取相关服务，实现资源按需获取和按 升，单纯以DVFS 技术降低服务器能耗变得困难.
需扩容.
更进一步，数据中心还提供传感器和控件，用 虚拟化技术的快速发展使得负载调度变得更加简 户能够对计算环境进行监督和优化，实现对数据中心 单，在虚拟化技术支持下，服务器可以通过负载调度将 软硬件资源的集约化管理，这就形成了数据中心即服 负载均衡分配到少量服务器上，并使暂时闲置的服务 务（Data Center as a Service DCaaS）的运维管理理念.
器处于休眠或关闭状态.
常见的服务器负载均衡调度 在DCaaS运维管理的理念下，数据中心能效优化 算法包括静态负载均衡算法、动态负载均衡算法和仿 过程中将会更加关注能耗与性能的匹配性问题，在保 生物负载均衡算法等，其中静态负载均衡算法不考虑 证服务品质协议的基础上提升数据中心整体能效.
数 当前时刻服务器设备的运行状况，只是按照预先设定 据中心基础设施主要是为IT设备服务，因此IT设备 的方案对用户请求进行分配，动态负载均衡则根据系 节能在数据中心整体能效优化中居于核心地位，IT设 统运行时的负载状况来动态分配负载.
备能耗与其处理负载量呈正相关，构建一套随IT负载 常见的静态负载调度均衡算法包括轮询调度算 变化的数据中心全局能效优化方案对于提升数据中心 法、加权轮询调度算法、随机调度算法、加权随机调度 整体能效具有重要意义.
图3为数据中心全局能效优 算法、目标地址散列调度算法、源地址散列调度算法.
化流程图.
常见的动态负载均衡算法包括最小连接调度算 IT设备节能通常可以采用DVFS技术和负载调度 法、加权最小连接调度算法、基于局部性的最小连接调算法来实现，DVFS适用于低负载且时延要求较低的 度算法、带复制的基于局部性的最小连接调度算法.
情形，负载调度算法的节能原理主要体现在两个方面， 静态负载均衡算法和动态负载均衡算法在进行负 一是均衡各主机负载，将高负载主机上的虚拟机迁移 载调度的过程中很容易造成局部最优解，并且在负载 至负载较低的主机，防止部分主机因为负载率较高面 调度后难以根据负载在服务器上的执行情况对虚拟机 影响业务处理质量并产生局部热点，二是将低负载主 进行迁移，仿生物智能算法在提升数据中心负载均衡 机上的虚拟机集中到一起，使部分主机处于休眠或关 度，实现服务器虚拟机动态迁移方面具有更好的表现.
机状态从面降低能耗.
本文通过设置三重阀值T、T 常见的仿生物智能算法包括遗传算法、蚁群算法、粒子 和T，将主机分为4种类型，负载率低于T，时，为低载 群算法和人工蜂群算法等.
主机，负载率在T，和T之间时，为轻载主机，负载率 当前不少数据中心在规划阶段会根据IT最高负 在T和T，之间时，为适度负载主机，负载率大于T 载对基础设施进行余设计，这给供配电系统及制冷 时，为重载主机，其中0≤T<T<T，≤1. 负载调度算 系统带来了极大的能耗. 考虑到IT设备能耗对基础 法的优化目标即是将重载主机及低载主机上的虚拟机 设施能耗的影响，有研究提出了随负载动态变化的数迁移至轻载主机上，使重主机的负载率低于T，低载 计一套随负裁及机房热分布动态变化的基础设施控制能耗. 23
