SSB蓄电池基于深度强化学习的绿色建筑能源调度：针对具有异构特性的固定式与电动汽车电池

2026-03-16 18:25:08

建筑物的巨大能源需求正日益由光伏等可再生能源供给。然而，可再生能源的间歇性特性使得必须在建筑能源管理系统（BEMS）中整合固定式储能系统（ESS），以实现电力稳定并协调多能源流。电动汽车（EVs）的普及促进了其与ESS的集成，形成联合电池系统（CBS），从而扩展了BEMS的套利潜力与运行灵活性。为充分发挥多电池系统（CBS）在优化建筑能源管理系统（BEMS）运行成本方面的潜力，本文提出一种基于异构电池系统的深度强化学习（DRL）实时联合能量调度方法。首先系统分析了CBS中不同电池类型的衰减特性，提出一种面向车网互动场景下异构储能系统的创新型退化评估框架。该框架通过引入循环衰减系数实现电池老化成本的实时反馈，使其适配DRL驱动的调度需求。为实现ESS与EV的优化协同调度，我们提出一种融合双竞争架构与优先经验值回放机制的增强型DRL算法。该算法解决了异构储能环境中复杂的状态特征、动作耦合及学习效率下降等挑战，同时优先保障EV用户的出行需求以促进其参与度。基于真实商业建筑的实验模拟验证了所提方法的有效性，在同等条件下较混合整数线性规划方法实现了系统运行成本43.39%的降幅。

引言

在全球气候危机加剧与城市化进程加速的背景下，建筑已成为城市能源消耗与碳排放的主要来源[1]。建筑能源的高效利用与优化管理对实现城市与社会可持续发展至关重要[2][3]。传统建筑能源系统管理方式导致能源严重浪费与运营成本攀升[4]。配备建筑能源管理系统（BEMS）的绿色建筑（GBs）为应对这些环境与能源挑战提供了前景广阔的解决方案[2]。BEMS通过整合光伏（PV）系统、储能系统（ESS）等分布式能源资源（DERs），实现运行协同与供需互补，显著降低系统运营成本并提升能源利用率[5]。该方法同时支持减缓气候变化、提升社会效益及满足居民需求等多重目标[6]。因此，开发优化能源管理策略以促进BEMS高效低成本运行至关重要[7]。
基于建筑能源管理系统(BEMS)的能力，储能设备(ESD)对于实现实时能源优化至关重要，其在管理供需动态方面兼具灵活性与可靠性[7]。就BEMS而言，ESD可广义分为固定式储能系统(ESS)和电动汽车(EV)等移动储能资源。通过利用电价信息与供需动态数据，固定式ESS能在非高峰时段储存过剩电能，并在用电高峰期间释放，从而缓解电网(PG)运行压力[8]。这不仅降低了系统运行成本，更有助于维持电力供需平衡。ESS与BEMS中的分布式能源组件高效协同，可有效抑制光伏发电不确定性及用户需求波动引发的系统扰动。此外，电网故障时ESS可作为备用电源，显著提升系统韧性及供电可靠性。电动汽车是移动式ESD的典型代表。通过采用车网互动（V2G）技术，电动汽车具备向电网（PG）回馈电能的能力，目前已广泛应用于家庭能源管理系统[9][10]。V2G技术将电动汽车从被动能源消费者转变为能源管理的主动参与者，形成能量与价值的双向流动，显著提升系统运行灵活性与韧性[11]。相较于分散式家庭能源系统，商业建筑电动汽车充电站天然具备聚合大规模电动汽车车队的能力，为利用电池移动性与可扩展性提升能源管理效率提供了独特机遇。
相较于独立的储能设备，集成了具备V2G功能的电动汽车与固定式储能系统的复合电池系统（CBS）在建筑能源管理系统（BEMS）的能量调度中展现出显著优势。这些优势包括降低储能系统容量的初始投资成本，提升能量套利市场的系统吞吐量，从而降低系统整体运行成本[12]。然而，储能系统与电动汽车在BEMS中的整合仍面临电池退化建模、系统模型设计及调度策略制定等方面的挑战。
首先，在建筑能源管理系统（BEMS）框架下针对异构电池组实时能量管理的实践中，现有研究很少涉及电池差异化衰减特性的处理。这一缺陷导致系统调度策略出现显著偏差，并造成运行经济效益下降。当前研究在电池衰减建模方面存在明显局限：基于物理原理的模型[10][13][14]往往过度简化老化过程。尽管数据驱动的机器学习方法[15][16]能够捕捉复杂衰减模式，但其泛化能力普遍不足。融合物理机制与机器学习的混合模型[17][18]主要应用于电池长期健康状态（SoH）评估，难以量化实时能量调度引发的衰减成本。近期已有研究提出考虑异构电池不同SoH的衰减框架[19]。然而，该框架主要解决同种化学成分电池在生命周期内的性能差异问题，未能考虑不同化学类型固有的老化特性。这一局限在电能存储系统（ESS）与电动汽车（EV）的联合实时优化中尤为突出。ESS通常采用磷酸铁锂（LFP）材料，这类材料以低成本、高安全性、稳定性和长循环寿命著称[20]。相比之下，锂镍锰钴氧化物（NMC）材料因其高能量密度与功率密度特性，被广泛应用于电动汽车电池领域，可满足长续航里程与瞬时高功率输出的需求[21]。与储能系统（ESS）相比，电动汽车电池通常呈现更短的使用寿命和更显著的容量衰减[22]，这反映了二者在老化机理与降解速率上的本质差异。因此，亟需建立一种兼顾精确建模与实时响应能力的退化成本评估框架。该框架对于实现可靠的电池健康管理、精确的寿命评估以及优化的运行策略具有关键意义[23]。
由于ESS与EVs的退化成本存在差异，加之EV用户存在里程焦虑问题，协调CBS内ESDs的联合运行以提升能源管理效率具有挑战性[24]。ESS与EVs的退化特性不同意味着调度成本各异。这要求系统在调度窗口内实施更智能的控制策略，谨慎使用成本较高的电池组以优化长期收益，同时确保电池健康状态。另一方面，电动汽车（EVs）作为建筑能源管理系统（BEMS）中的主要交通组件，必须优先考虑其续航里程。电池荷电状态（SoC）的下降可能损害其作为载客车辆的核心功能[25]。在多数情况下，电动汽车用户倾向于保持调度后的电池SoC不低于初始值，因为任何降低都会显著削弱其参与调度的意愿[26]。因此，针对电动汽车的调度方案必须与用户的交通需求相匹配。面对这些挑战，调度安排需兼顾电动汽车的续航里程、调度时间窗口以及储能系统（ESS）与电动汽车之间的成本差异，从而促进具有不同特性的储能电池协同运行。
由多性向利益相关方参与的CBS与BEMS之间的金融与能源交互机制设计面临诸多挑战。建筑管理者与电动汽车用户分属两个不同的利益实体[27]。建筑管理者的目标是通过在能源管理中充分利用固定式储能系统与电动汽车电池来实现利润最大化；而电动汽车用户则倾向于在不影响日常用车需求的前提下获取潜在收益。这些差异化需求要求在BEMS中构建精细化的目标函数设计框架，通过明确的收益分配与成本分摊原则实现各利益相关方之间的平衡。此外，为优化本地能源消纳并提升整体系统效益，应建立促进CBS与BEMS正向互动的能源利用逻辑[28]。
在配备异构电池储能单元的楼宇能源管理系统中，多类型储能装置的引入导致高维状态空间与耦合控制动作，为储能系统与电动汽车的协同控制带来挑战。相较于传统基于模型的能量调度方法[7]，基于深度强化学习（DRL）的无模型方法在处理动态复杂决策场景中展现出显著优势[29]。英国微电网中，光伏发电、电动汽车、储能系统、能源价格与负荷数据相互交织，形成难以映射至控制动作的复杂系统状态。多电池控制的组合特性进一步扩大了策略空间，需协调成本、时序与运行约束等多重因素。这种复杂的组合动作-状态空间要求高效的计算决策能力，而深度Q网络（DQN）通过直接Q值最大化的离散动作选择机制实现了这一需求。该架构避免了连续动作算法中常见的迭代策略梯度计算开销，例如近端策略优化（PPO）、柔性演员-评论家（SAC）及双延迟深度确定性策略梯度（TD3）[30][31]。因此，深度Q网络（DQN）更契合实时能量管理中对动态变化快速响应的需求。此外，在动态变化环境中，由于随机采样导致的训练数据低效利用，可能对调度决策质量产生负面影响。因此，亟需设计一种计算高效的深度强化学习框架，专门针对异构电池的实时能量调度问题，以解决状态空间与动作空间中的复杂耦合关系，以及样本学习效率下降的难题[29]。
针对上述挑战，本文提出一种基于深度强化学习（DRL）的联合实时能源调度方法，旨在优化建筑能源管理系统（BEMS）的运行成本。首先，利用车联网（V2G）技术建立多电池储能系统以提升能源利用率。在此基础上，开发了一个高效的异构储能设备（ESDs）实时能源调度退化成本评估框架，通过差异化建模储能系统（ESS）与电动汽车（EVs）的老化特性，为运行成本优化提供关键依据。通过确保电动汽车离场时的荷电状态（SoC）高于入场时的SoC，明确满足电动汽车用户的出行需求。同时，设计预测网络引导集中式电池系统（CBS）基于能源分配机制（EAM）与系统交互以优化运行效率。最终，提出改进的深度Q网络（DQN）算法来解决多储能电池环境中的能源调度问题。该算法融合双网络架构与竞争机制，优化动态复杂系统中DQN的Q值估计与动作选择，同时采用优先经验回放机制提升学习效率。
本工作的贡献可概括如下： %% 为实现电池组（GBs）的高性价比能量管理，我们提出了一种面向异构电化学储能装置（ESDs）的退化成本评估框架。该框架整合了考虑储能系统（ESS）与电动汽车（EV）电池差异特性的精确老化模型，通过设计的循环退化系数实时估算异构电池在各时间步长的运行成本，使其能高效结合深度强化学习（DRL）应用于实时能量调度场景。

• 1.
  To enable cost-efficient energy management in GBs, we propose a degradation cost assessment framework for heterogeneous ESDs. This framework incorporates precise aging models that account for the distinct characteristics of both ESS and EV batteries. It utilizes a designed cycle degradation coefficient to estimate the operating costs of heterogeneous batteries at each time step, making it well-suited for integration with DRL in real-time energy scheduling applications.
• 2.
  我们的方法通过优先考虑电动汽车用户的出行需求，同时充分考虑储能系统与动力电池的差异化衰减成本及调度时间窗，从而主动引导用户参与。为平衡套利收益与电池衰减成本，我们设计了一种非线性分段奖励函数，将充放电决策与电价及读档工况动态关联。
• 3.
  异构储能设备(ESD)参与建筑能源管理系统(BEMS)能源管理的成本分摊与效益归属问题被明确定义，并整合至调度决策中，从而避免电动汽车(EV)电池的过度使用。研究设计了一个可嵌入能源调度过程的预测网络，利用预测信息引导充电站(CBS)基于能源利用优先级与BEMS进行正向互动。该方法在降低运营成本的同时促进了本地能源消纳。
• 4.
  该能源管理问题被建模为马尔可夫决策过程(MDP)，并提出一种基于DQN的联合实时调度算法以推导CBS的控制策略。针对异构电池环境中状态特征分析的挑战，引入双重网络以提高状态-动作映射的准确性。采用对决机制进行Q函数近似，降低ESS与电动汽车之间动作耦合对联合调度决策的影响。此外，优先经验回放机制提升了动态环境中的样本学习效率。