科创中国

基站被视为智能体，其初始化状态包括不同D2D对的发射功率组合。这为智能体选择合适的动作奠定了基础。智能体使用ε-Greedy策略选择动作与环境交互。这种策略允许在探索新动作和利用已知最佳动作之间取得平衡，以促进学习过程。在执行所选动作后，Wi-Fi以广播方式传递本地信息给智能体。这些信息可能包括受到D2D通信干扰的Wi-Fi用户数量等。智能体根据Wi-Fi反馈信息获得奖励，并将相关数据存储到经验回放空间中。这有助于智能体通过回顾历史经验来学习。采用经验回放策略，从经验回放空间中随机抽取数据，以降低数据之间的相关性，提高学习效率。使用梯度下降法更新Q-Network的权重参数，这是深度强化学习中一种常见的方式。这有助于智能体逐步优化其动作选择策略。上述步骤在S2到S6中被反复执行，直到奖励曲线和吞吐量曲线收敛。这意味着智能体通过学习逐渐找到了最优的使用免授权频谱的D2D设备及其最优的发射功率。智能体模型：将基站作为智能体，使用深度强化学习（DQN）方法，通过学习来优化发射功率的决策，提高系统性能。采用动态调整ε-Greedy策略，随着训练步数的增加，智能体逐渐减少随机探索的概率。

基于智能体模型的深度强化学习方法：通过将基站建模为智能体并采用深度强化学习方法，该技术能够自主学习并优化发射功率的决策，从而提高系统性能。动态调整的ε-Greedy策略：采用动态调整的ε-Greedy策略，使智能体能够在探索和利用之间取得平衡，随着学习过程的进行，逐渐减少随机探索的概率，更多地依赖已有的知识，从而提高学习效率。经验回放策略：利用经验回放策略，智能体能够从历史经验中学习，降低数据之间的相关性，提高学习的效率和稳定性。针对D2D通信的发射功率优化：该技术的针对性在于针对D2D通信场景，通过动态调整发射功率来提高频谱利用率，最大化系统吞吐量，有效解决了频谱资源短缺的问题。系统的自适应能力：该方法使得系统能够根据实时的环境反馈信息来自适应地调整发射功率，以优化通信质量和频谱利用率。协同学习和自组织网络：这项技术还可以利用协同学习和自组织网络的思想，使智能体之间能够互相通信和合作。这种协同学习可以让智能体分享彼此的知识和经验，从而更有效地协同工作，提高整个系统的性能。自组织网络的概念还可以帮助网络中的智能体自动适应网络拓扑的变化，使其更具弹性和鲁棒性。

基于D2D通信直接接入方法的无线通信技术解决方案具有巨大的应用前景，将为行业带来革命性的变革。以下是其应用前景的几个关键方面：

5G通信系统优化：这项技术可以用于优化下一代移动通信系统。它可以改善无线信号的覆盖范围、数据传输速度、网络容量和质量，从而提供更出色的移动通信体验。

物联网（IoT）：物联网中有大量设备需要进行低功耗、大规模通信。这项技术可以帮助优化物联网设备的连接，延长电池寿命，降低通信成本。

智能城市：在智能城市中，大规模的传感器网络需要高效的通信。这项技术可以优化城市中的数据传输，改善交通管理、环境监测和能源管理等领域。

医疗保健：在远程医疗和医疗设备连接方面，这项技术可以确保高质量的数据传输，以支持医疗保健专业人员和患者之间的实时通信。

智能交通：交通系统可以受益于这项技术，以实现智能交通信号控制、自动驾驶车辆通信和交通流量优化。

军事通信：在军事领域，这项技术可以改善军事通信的安全性、鲁棒性和抗干扰能力。

卫星通信：卫星通信系统可以通过这项技术提高数据传输效率，改善卫星互联网和广播服务。

工业自动化：在工业自动化领域，这项技术可以用于实时监控和控制，支持智能制造和工业物联网。

教育：教育领域可以利用这项技术提供更强大的在线教育和培训体验，确保高质量的视频流和互动。

紧急救援：在紧急救援任务中，这项技术可以帮助救援人员进行实时协调和通信，提高救援效率。

工业物联网与网络化控制教育部重点实验室依托 “工业物联网协同创新中心”、“国家工业物联网国际科技合作示范基地”、“智能仪器仪表网络化技术国家地方联合工程实验室”，获得首批重庆市高校创新团队称号和“重庆市杰出青年群体”重点实验室。现有科研人员64人，其中90%的研究人员具有博士学位，拥有国家级人才4名、省部级人才19名。近5年，实验室共承担各类科研项目100余项，获得各类省部级奖励18项，其中：国家技术发明二等奖1项、省部级一等奖7项、二等奖10项。重庆市科技进步奖一等奖2项、重庆市自然科学一等奖1项、中国自动化学会科技进步奖1项、中国仪器仪表学会科学技术进步奖1项、中国产学研合作创新成果奖1项、川渝产学研创新成果奖一等奖1项。承担40余项国家科技重大专项、国家863计划等国家级/省部级项目，牵头制定传感网测试国际标准和物联网网络层标准技术报告，牵头制定国际国家标准49项（牵头制定国际3项，国家标准10项）。发明专利授权250项（PCT专利12项、美国专利授权4项），发表高水平论文404篇。

为了研发基于D2D通信直接接入方法的无线通信技术解决方案，投入了大量的研发经费和资源。然而，这项成果所带来的收益是巨大的，不仅在经济层面上具有显著影响，而且在科技进步、环境保护、国家安全和人民生活等方面也发挥着重要作用。

提高通信性能和效率：该技术可以显著提高通信系统的性能和效率。通过优化发射功率选择和频谱管理，可以提供更快速、可靠和高带宽的通信，改善用户体验。

频谱资源利用率提高：通过充分利用无线频谱资源，该技术有助于减轻频谱资源的短缺问题，降低通信成本，提高频谱利用率。

降低能耗：优化通信系统的功耗是该技术的一个关键优势。通过更有效地管理和分配通信资源，可以减少设备的能耗，对于移动设备的电池寿命延长至关重要。

降低通信成本：通过提高频谱利用率和降低能耗，通信运营商和用户可以降低通信成本。这对于广泛使用的通信服务和物联网设备来说尤为重要。

支持新兴应用：这项技术有望支持各种新兴应用，如自动驾驶车辆、远程医疗、智能城市和工业自动化，从而推动这些领域的发展和创新。

提高网络鲁棒性：该技术的自适应性和自组织性质有助于提高网络的鲁棒性，使其能够适应不断变化的环境条件和网络拓扑

创新和竞争力：这项技术的研究和应用可以为企业和国家提供技术领先优势，推动创新，并增强国际竞争力。

社会福祉：通过提高通信质量和降低通信成本，这项技术有助于提高社会的整体福祉，推动数字包容和可及性。

环保效益：降低通信设备的能耗也有利于减少碳排放和环境影响，有助于可持续发展。

基于D2D通信直接接入方法的无线通信技术解决方案具有广泛的转化潜力和商业价值。为了实现该方案的转化和推广，以下是几种转化方式：

技术授权和许可：原始技术开发者可以将技术授权给其他公司或研究机构，允许他们基于该技术开发和销售产品或服务。这种方式可以为开发者带来授权费用收入，同时也可以扩大技术的应用范围。

技术合作与联合研发：与其他公司或研究机构建立技术合作伙伴关系，共同进行产品的研发、测试和推广。这种方式可以分享研发成本，加速技术转化的速度，并充分利用各方的专业知识和资源。

创办初创公司：原始技术开发者可以考虑创办一个初创公司，专门负责基于D2D通信的产品开发、生产和销售。这样可以确保技术的完整性和独特性，并有可能吸引风险投资支持。、

与已有的通信运营商合作：考虑与大型通信运营商合作，将D2D通信技术集成到他们的网络中。这种方式可以迅速推广技术，扩大其覆盖范围，并获得稳定的市场份额。

向行业标准组织推荐：将该技术推荐给相关的行业标准组织，例如3GPP，希望它成为未来无线通信标准的一部分。这样可以确保技术的广泛接受和应用。

开展技术培训和研讨会：定期开展技术培训和研讨会，向行业内的专家、决策者和潜在客户展示D2D通信的优势和应用前景，从而吸引更多的合作伙伴和用户。

扩展至其他应用领域：除了传统的无线通信应用，还可以考虑将D2D通信技术应用到其他领域，例如物联网、智能家居、智能交通等，从而扩大市场规模和潜在客户群。