科创中国

重庆邮电大学工业物联网与网络化控制教育部重点实验室的团队致力于基于深度强化学习的动态服务功能链编排方法及系统的智能制造研究，并成功开展了一系列研究项目，取得了显著的成果。本发明公开了基于深度强化学习的动态服务功能链编排方法及系统，根据SDN控制器获取历史网络状态；网络状态包括支持移动边缘计算的物联网网络中产生的服务功能链请求流信息以及对应的网络资源状态信息；设定深度强化学习参数并初始化神经网络的权重；根据智能体与环境交互产生的经验样本训练神经网络；对于实时获取的服务功能链请求流，利用训练好的神经网络，采用启发式算法，确定并部署满足服务功能链请求流要求的虚拟化网络功能的放置与路由路径，综合考虑了网络资源状态信息，实现了在减少物联网请求流对资源消耗成本和时延的同时实现了网络的负载均衡，并提高了网络流量接收率。

随着物联网的迅速发展，物联网终端的数量正在持续增长，导致了海量的计算密集型和延迟敏感型的物联网请求流，例如无人驾驶、增强现实和人脸识别等。尽管传统的云计算可以为这些物联网数据提供较高的计算能力，但它不能满足数据的低时延和低能耗要 求。将数据传输至远程的云数据中心将造成较大的网络延迟并将消耗巨量的带宽和传输资 源。为了解决这个问题，边缘计算通过在靠近物联网终端的网络边缘部署一系列边缘服务器为物联网数据提供计算和存储资源，以达到降低数据处理的时延和能耗的目的。同时，为保证给物联网终端提供稳定，安全，高效的网络服务，网络服务提供商通常需要按照流量的业务需求，规定数据包在网络中传输时，需要按顺序经过不同的网络功能，即服务功能链。网络功能虚拟化改变了网络功能只能在专有平台上实现的情况，解耦了物理网络设备和运行于其之上的网络功能，灵活地为用户提供各种网络服务，并能够快速支持新服务，降低了设备投资和运营费用。

基于深度强化学习的动态服务功能链编排具有广泛的应用前景，特别是在网络功能虚拟化（NFV）和软件定义网络（SDN）等领域。以下是这项技术的一些应用前景：

网络性能优化： 通过动态调整服务功能链的顺序和组合，可以实现对网络性能的实时优化。这意味着网络可以根据当前的流量情况和服务质量要求来调整服务链，从而提供更高效的网络服务。

智能网络安全： 基于深度强化学习的动态服务功能链编排可以实时响应网络威胁和攻击。它可以自动选择并配置适当的安全功能，以保护网络免受恶意行为的侵害。

边缘计算优化： 针对边缘计算场景，动态服务功能链可以根据用户位置、应用需求等因素进行动态调整，以提供更快速的响应时间和更高的服务质量。

5G网络优化： 5G网络需要更高的灵活性和可配置性，以满足不同应用场景的需求。基于深度强化学习的服务功能链编排可以实现对5G网络资源的智能分配和调整，以适应不同的业务要求。

物联网（IoT）支持：随着物联网设备的不断增加，网络需要能够灵活适应大量设备的连接和通信需求。动态服务功能链编排可以实现对IoT设备流量的智能管理，提高网络的承载能力。

边缘智能服务： 在边缘计算环境中，动态服务功能链可以用于智能化地管理和优化边缘节点上的服务链，提供更高效的边缘智能服务。

网络切片定制： 基于深度强化学习的动态服务功能链编排可以根据不同业务需求定制网络切片，为不同行业提供定制化的网络服务。

自动化运维： 这项技术可以在网络运营中实现自动化决策和调整，减轻运维人员的负担，提高网络的自管理能力。

基于深度强化学习的动态服务功能链编排为网络提供了更高的智能化、灵活性和自适应性，可以满足不断变化的网络需求，是未来网络技术发展的一个重要方向。

工业物联网与网络化控制教育部重点实验室依托 “工业物联网协同创新中心”、“国家工业物联网国际科技合作示范基地”、“智能仪器仪表网络化技术国家地方联合工程实验室”，获得首批重庆市高校创新团队称号和“重庆市杰出青年群体”重点实验室。现有科研人员64人，其中90%的研究人员具有博士学位，拥有国家级人才4名、省部级人才19名。近5年，实验室共承担各类科研项目100余项，获得各类省部级奖励18项，其中：国家技术发明二等奖1项、省部级一等奖7项、二等奖10项。重庆市科技进步奖一等奖2项、重庆市自然科学一等奖1项、中国自动化学会科技进步奖1项、中国仪器仪表学会科学技术进步奖1项、中国产学研合作创新成果奖1项、川渝产学研创新成果奖一等奖1项。承担40余项国家科技重大专项、国家863计划等国家级/省部级项目，牵头制定传感网测试国际标准和物联网网络层标准技术报告，牵头制定国际国家标准49项（牵头制定国际3项，国家标准10项）。发明专利授权250项（PCT专利12项、美国专利授权4项），发表高水平论文404篇。

基于深度强化学习的动态服务功能链编排可以为网络和业务带来多方面的效益，这些效益包括：

网络性能优化： 动态服务功能链编排能够实时调整服务功能链的顺序和组合，以优化网络性能。这意味着更低的延迟、更高的带宽利用率和更好的服务质量，从而提高了用户体验。

资源利用率提升： 通过动态分配和配置服务功能，可以更有效地利用网络和计算资源。这减少了资源浪费，降低了网络运营成本。

自适应性： 基于深度强化学习的编排系统可以适应不断变化的网络流量和需求。这使网络更具灵活性，可以应对快速变化的应用和服务要求。

智能网络安全： 这项技术可以自动识别并响应网络威胁，提供实时的网络安全防护。它有助于减少网络攻击和数据泄露的风险。

用户体验改善： 通过实时调整服务功能链，可以根据用户需求提供个性化的服务。这提高了用户体验，使用户获得更适合他们需求的网络服务。

边缘计算支持： 在边缘计算环境中，动态服务功能链编排有助于提供更快速的响应时间和更高的服务质量，适应不同应用的需求。

业务灵活性： 通过在动态服务功能链中添加、删除或重新配置功能，企业可以更轻松地调整其网络以适应新的业务需求和市场机会。

自动化运维： 这项技术可以减少运维任务的手动干预，自动化决策和配置网络服务。这有助于提高网络的自管理能力，降低了维护成本。

网络切片支持： 动态服务功能链编排可以为不同业务提供个性化的网络切片，满足不同行业和应用的需求。

未来网络准备： 这项技术使网络更具适应性和智能性，有助于为未来的网络需求和技术进步做好准备，如5G、IoT和边缘计算。

基于深度强化学习的动态服务功能链编排方法及系统具有广泛的转化潜力和商业价值。为了实现该方法的转化和推广，以下是几种转化方式：

1. 技术转让：将研发的功能链编排方法及系统进行技术转让，授权给其他制造企业或相关行业的合作伙伴。通过技术转让，可以迅速推广和应用功能链编排方法及系统，实现技术的快速传播和商业化运作。

2. 技术入股：与具有相关产业经验和资源的投资方进行合作，将功能链编排方法及系统进行技术入股。通过投资方的支持和合作，可以获得资金、市场渠道和运营经验等资源，加速技术的推广和商业化进程。

3. 技术合作：与制造企业、供应商或其他科技公司进行技术合作，共同开展功能链编排方法及系统的研发、应用和推广。通过技术合作，可以整合各方的专业知识和资源，共同推动功能链编排方法及系统的发展和商业化应用。

4. 资金需求：为了实现功能链编排方法及系统的转化和推广，需要一定的资金投入。可以通过寻找投资者、申请科研项目资助、与银行或风险投资机构合作等方式获得所需的资金支持。这些资金将用于技术开发、市场推广、人才培养和设备购置等方面。

通过以上转化方式的实现，希望能够将功能链编排方法及系统广泛应用于实际生产中，推动制造业的智能化转型，提升企业的竞争力和效益，促进科技进步和经济发展。