重庆邮电大学工业物联网与网络化控制教育部重点实验室的团队致力于基于深度强化学习的动态服务功能链编排方法及系统的智能制造研究,并成功开展了一系列研究项目,取得了显著的成果。
本发明公开了基于深度强化学习的动态服务功能链编排方法及系统,根据SDN控制器获取历史网络状态;网络状态包括支持移动边缘计算的物联网网络中产生的服务功能链请求流信息以及对应的网络资源状态信息;设定深度强化学习参数并初始化神经网络的权重;根据智能体与环境交互产生的经验样本训练神经网络;对于实时获取的服务功能链请求流,利用训练好的神经网络,采用启发式算法,确定并部署满足服务功能链请求流要求的虚拟化网络功能的放置与路由路径,综合考虑了网络资源状态信息,实现了在减少物联网请求流对资源消耗成本和时延的同时实现了网络的负载均衡,并提高了网络流量接收率。
随着物联网的迅速发展,物联网终端的数量正在持续增长,导致了海量的计算密集型和延迟敏感型的物联网请求流,例如无人驾驶、增强现实和人脸识别等。尽管传统的云计算可以为这些物联网数据提供较高的计算能力,但它不能满足数据的低时延和低能耗要 求。将数据传输至远程的云数据中心将造成较大的网络延迟并将消耗巨量的带宽和传输资 源。为了解决这个问题,边缘计算通过在靠近物联网终端的网络边缘部署一系列边缘服务器为物联网数据提供计算和存储资源,以达到降低数据处理的时延和能耗的目的。同时,为保证给物联网终端提供稳定,安全,高效的网络服务,网络服务提供商通常需要按照流量的业务需求,规定数据包在网络中传输时,需要按顺序经过不同的网络功能,即服务功能链。网络功能虚拟化改变了网络功能只能在专有平台上实现的情况,解耦了物理网络设备和运行于其之上的网络功能,灵活地为用户提供各种网络服务,并能够快速支持新服务,降低了设备投资和运营费用。
工业物联网与网络化控制教育部重点实验室依托 “工业物联网协同创新中心”、“国家工业物联网国际科技合作示范基地”、“智能仪器仪表网络化技术国家地方联合工程实验室”,获得首批重庆市高校创新团队称号和“重庆市杰出青年群体”重点实验室。现有科研人员64人,其中90%的研究人员具有博士学位,拥有国家级人才4名、省部级人才19名。近5年,实验室共承担各类科研项目100余项,获得各类省部级奖励18项,其中:国家技术发明二等奖1项、省部级一等奖7项、二等奖10项。重庆市科技进步奖一等奖2项、重庆市自然科学一等奖1项、中国自动化学会科技进步奖1项、中国仪器仪表学会科学技术进步奖1项、中国产学研合作创新成果奖1项、川渝产学研创新成果奖一等奖1项。承担40余项国家科技重大专项、国家863计划等国家级/省部级项目,牵头制定传感网测试国际标准和物联网网络层标准技术报告,牵头制定国际国家标准49项(牵头制定国际3项,国家标准10项)。发明专利授权250项(PCT专利12项、美国专利授权4项),发表高水平论文404篇。
评价单位:“科创中国”工业物联网科技服务团 (重庆邮电大学)
评价时间:2023-11-08
综合评价
基于深度强化学习的动态服务功能链编排代表着一种先进的网络优化方法,主要运用于网络功能虚拟化(NFV)和软件定义网络(SDN)环境。在这个领域,一些改进建议可以被提出,以更进一步地提高这种方法的效率和性能。
首先,我们可以考虑加强状态信息和特征工程的处理。深度强化学习的成功很大程度上依赖于输入状态的准确性和特征工程的巧妙设计。因此,引入更多关于网络状态、负载和性能等方面的信息,并对其进行更全面的特征工程处理,将为模型提供更为精准的决策依据
其次,奖励函数的设计也是至关重要的。奖励函数的合理性直接关系到深度强化学习模型的训练效果。为了更好地反映服务链路的性能和目标,我们可以考虑设计更为智能化的奖励函数,甚至采用复合奖励函数,以平衡不同性能指标之间的权衡。
最后,随着未来网络的不断发展,我们还需要考虑这种方法的可扩展性,以适应更大规模的网络、更多的服务链路和更多的网络功能。在这一过程中,安全性也是一个需要重点考虑的方面,以确保在引入强化学习的网络管理中防范恶意行为或攻击的可能性。这些改进建议的综合考虑有望进一步优化基于深度强化学习的动态服务功能链编排,使其更加适应多变的网络需求,提升整体性能和稳定性。
查看更多>