科创中国

这项D2D通信的直接接入方法涉及一种智能体驱动的频谱管理方案，旨在解决频谱资源短缺、提高免授权频谱利用率和共存系统吞吐量的问题。以下是对该成果的综合意见： 创新性和独特性： 智能体框架： 以基站作为智能体，并使用深度强化学习（DQN）来进行动作选择，这一框架在频谱管理领域相对较新颖。 ε‑greedy策略： 利用ε‑greedy策略来平衡探索和利用，特别是在动作选择时采用了渐进降低的ε值，有助于在训练中平衡探索和利用的权衡。 系统模型和问题定义： D2D通信模型： 清晰地定义了D2D通信系统的模型，包括基站作为智能体、发射功率组合、Wi‑Fi网络的干扰等要素。 状态表示： 使用状态表示包括受到干扰的Wi‑Fi用户个数、D2D系统总吞吐量等信息，为智能体决策提供了全面的信息。 实施和训练方法： 经验回放： 引入了经验回放策略，有助于降低数据间的相关性，提高训练效率。 梯度下降法： 使用梯度下降法来更新Q‑network的权重参数，这是深度强化学习中常见的方法。 应用场景和适用性： 适用性： 该方法在D2D通信领域有潜在的应用，特别是在频谱资源受限的情况下，通过智能体的决策提高系统性能。 场景描述： 清晰地描述了场景中的D2D对、Wi‑Fi用户以及频谱利用的细节，增强了方法的实际应用性。