科创中国

沈阳广播电视台与沈阳新松机器人有限责任公司进行战略合作，于2018年启动“艺卡”智能移动拍摄系统项目，目前已完成一代、二代产品的研发，正在进行第三代智能移动XR融合拍摄系统的研发。该系统以复合机器人为智能运动主体，通过人机交互镜头规划，将摄像机、复合机器人高度融合，实现了拍摄自动化、精准化，可获得更具冲击力和艺术感的画面效果，实现了传统摄像技术与复合机器人技术的完美融合。该系统还具有4K超高清视频拍摄功能，并采用高速率、低延时、广连接的5G网络传输信号，可为4K信号传输搭建“高速公路”，达到清晰度、流畅度、逼真度的三重体验升级。

“艺卡”智能移动融合拍摄系统定位精准、稳定性高，能够根据拍摄现场的节奏实时控制速度，支持多轴操作，在拍摄中可以突破场地条件的制约，在镜头上可提供全新的视角，能够在运动的同时操控镜头变/聚焦，具有精准拍摄、拍摄主体跟踪、无轨移动、微距运动拍摄和动态跟踪拍摄等五大特点，是机器人和人工智能技术与广电技术深度融合的创新性尝试。

该项目拥有计算机软件著作权和外观设计专利各一项；曾获“辽宁省文化产业发展专项资金”和“辽宁省中央引导地方科技发展专项资金”资助；先后获得辽宁省广播电视局2018年度科技创新一等奖、科睿科技创新奖、第十三届中国电影电视技术学会科技进步奖等奖励。

一、项目目的及意义

随着经济发展水平和生活水平的日益提高，人们的业余生活越来越丰富，对精神生活的追求也更迫切。大型晚会、综艺节目及具有国际影响为的体育赛事的实况直播受到广泛的关注。与此同时，人们对于摄影摄像艺术的欣赏和品鉴意识也在逐渐增强。为了使观众充分享受视觉的盛宴，丰富电视节目的拍摄效果，增强画面的冲击力，影视制作单位对摄像设备提出了更高的要求。

节目的拍摄一般分为固定拍摄和移动拍摄。固定拍摄在固定的机位上拍摄固定角度的画面。这种情况下，由于拍摄场地和人员经费的限制，固定拍摄会错过许多精彩画面。因此，在拍摄过程中移动拍摄使用的更多。

移动拍摄能够拍摄不中断、持续运动的画面，更好的展示事件发生、发展的真实过程，增强了画面的动感，使画面具有独特的感情色彩。在移动拍摄时，摄影师从经验和美学艺术的角度整体构图后，拍摄对象的位置、姿态或是动作稍有变化或不同，会对拍摄效果产生巨大影响。尤其是影视拍摄，对摄像机的轨迹移动轨迹精度有很高的要求，同时需要具有小空间快速响应的能力，在保证拍摄画面平稳性的同时完成摄像机的急速停止，拍摄角度的快速变化等高难度动作，对拍摄操作人员的操控技术要求极高。

传统的移动拍摄，小范围的拍摄可以利用滑轨让摄像机做水平移动；进行全方位的拍摄时需要把摄像机吊装在摇臂上，在摇臂臂长的范围内进行上下左右的全方位拍摄。滑轨虽然架设简单、使用灵活，但移动范围有限，还需要配合手推车实现，除了摄像师需要控制镜头的推拉摇移以外，还需要其它人员推动手推车前进和后退，不但人力成本，而且安全性和准确性也得不到保障；高摇臂的移动范围虽然比较大，但占地较大，对拍摄环境面积要求比较高，设备固定后，进行更改就费时费力。

因此，在传统摄像设备不能满足拍摄要求和拍摄效果的情况下，将人工智能技术引入拍摄领域，是十分必要的。目前常见的广电专用机器人有摇臂机器人、轨道机器人等。摇臂机器人可以实现以基准点为圆心、摇臂长度为半径体积内的摄像机点对点运动，空间移动范围有限。轨道机器人以基于轨道运动方式为主，镜头运动路线相对单一，且轨道铺设需要较多的人力和时间，受空间和时间的限制较多。这些智能拍摄设备的供电和信号传输都是有线传输，行走轨迹易受到线缆的束缚，还需要额外的人力辅助，没有达到智能设备应该达到的减员增效的目的。且这些智能拍摄设备基本都是国外进口，尚无具有完全自主知识产权的国产产品，一般价格较高，让很多广播电视台和制作单位难以承受，导致技术推广受限，应用有限。

本项目以无轨移动为突破口，研发一款智能移动拍摄系统，不但定位精准、稳定性高，还可以可根据拍摄现场的节奏实时控制速度，支持多轴操作。无轨拍摄系统在拍摄中可以突破场地条件的制约，在镜头上可提供全新的视角和更大的灵活性，能够在运动的同时操控镜头变/聚焦，而且通过采用软硬刹车技术，可保证在启动、运动、停止时不出现画面晃动的情况。此外，还可实现多个机器人的协同拍摄，从而提供更为丰富的拍摄画面。不仅能够节约拍摄成本、提高节目制作效率，还能够保证拍摄的安全性和可靠性。

二、市场需求分析

广电行业在节目制作方面越来越走向智能化、IP化，机器人在该领域的应用前景广阔。演播室系统中导播、音响、摄像、播出等多个工种的工作人员的沟通、磨合需要大量时间，传统摇臂或者轨道移动拍摄场景，即便在优秀摄像师的配合和操作下，也很难完成部分高难度动态画面追踪拍摄，而且容易出现配合失误。摄像机器人能够实现之前人力不能完成的摄像动作，满足影视制作设计、策划对镜头提出的复杂要求，提高节目的制作质量和水平，将节目制作人员从繁重的重复劳动中解放出来。

目前，智能拍摄设备基本都是国外进口，尚无具有完全自主知识产权的国产产品。开发一款拥有完整的自主知识产权的无轨智能移动拍摄系统，将改变特殊拍摄设备依赖进口的市场格局，高性价的国产智能移动拍摄设备将惠及全国的广电企业，推动我国广电系统拍摄技术的智能化升级。

同国内外广电行业主流的轨道机器人品牌相比，无轨智能移动拍摄系统在技术上具备无轨运行的优势，同时造价相对较低，具有相当的市场优势。我国现有电视台和影视制作机构众多，市场容量巨大，市场进深大，能容纳多层次的产品线。随着广电制播分离工作的推进，社会影视制作机构将大幅增长，这些机构也将成为智能移动拍摄设备的主要用户。在后智能拍摄市场中，智能拍摄服务和软件技术增值服务也将成为持续的增长点和超额利润的主要来源，具有更大的想象空间。

三、项目技术路线和特点

围绕项目研究内容与考核指标，充分利用项目申报团队已有产品、技术与平台环境，通过开展智能移动拍摄系统硬件平台、软件平台的研究，开发用户个性化功能界面、优化系统外观设计；开展复合机器人技术研究；开展智能移动拍摄系统协调控制技术研究，实现动作的协同控制，提高动作的协调性。开展基于5G网络的无线图文信号传播技术研究；开发拍摄检测及跟踪算法。

1、复合机器人

复合机器人融合了传感器，移动控制，信息处理、人工智能、电子工程、计算机工程等多学科的重要研究成果，是一个集环境感知、动态决策与规划、行为控制与执行等多种功能于一体的综合机电系统。它由智能移动机器人和机械臂组成，融入了视觉系统、多样化的导航配置，使产品精度更高更加智能化。

智能移动机器人由机械机构单元、动力与驱动单元、环境感知单元、执行机构单元、信息处理与控制单元组成。机械机构单元是智能移动机器人的骨架，支撑机器人所有的模块，其结构、性能、强度决定整个机器人的稳定性；动力与驱动单元为智能移动机器人提供动力来源；环境感知单元负责对周围的环境进行感知识别及各种参数的收集，然后通过转换成控制模块可以识别的光电信号，输入到控制单元进行数据处理；执行机构单元为智能移动机器人执行部分，能根据控制中心的命令执行命令，完成任务；信息处理与控制单元作为整个机械系统的核心部分，将来自传感器部分采集到的信息进行集中汇总存储，对所有信息分析、规划、决策并输出命令，使机器人有目的运行。

2、协同控制模块

协同控制模块实现以下的功能：

使用不同的接口方式实现与摄像机云台、升降臂、移动机器人的链接；封装移动机器人、升降臂、摄像机云台的通信协议。

设备的控制协议驱动功能：定义和实现对摄像机的多维度（如：摄像机的位置、姿态等）动作驱动控制，将上层送来的多维规划信息与目前的状态信息计算后，形成多维执行单元的控制指令和参数。

设备的参数感知功能：能够实时感知到设备的多维度（如摄像机的俯仰角度、水平角度、焦距等参数）状态信息；此传感器感测到的距离直接作用于人体目标跟踪软件。

多维输入输出的协同运动规划，将视频目标跟踪、路径规划、场景示例学习等来自于场景规划层面的多维度轨迹，使用不同的场景模型进行计算，然后做分维和转维处理，传输给协同控制模块，然后控制摄像机的位置、姿态。

3、上位机协同控制模块

主要完成设备的接口协议，即设备状态的感知和驱动控制。其次，为了给场景平台提供透明的场景，需要将场景的多维度参数使用协同运动规划的算法转化为设备的参数控制指令，需要根据目前状态参数与规划的场景计算出的不同维度的控制指令。

4、场景规划模块

场景规划软件模块可以实现事先拟定的多维度摄像头的轨迹参数，进行简单路径规划，以促使设备按照设定的场景进行拍摄。

采用的技术方案是：考虑到协议和场景的独立性，场景规划软件模块独立的编程，其与协同控制模块之间使用TCP/IP接口，UDP封装格式完成进程之间的通信。

5、人体检测和跟踪模块

人体检测模块实现对人体的检测，目前可通过两种方法，分别是人体检测和人脸检测（近像域拍摄时使用，近像域是指当人在视域空间内为人体的一半以下时摄像机和目标人的距离域）。人体检测精准度和鲁棒性较高，但速度相比于人脸检测较慢，且存在小概率误检。人脸检测速度非常快，但鲁棒性低，不能很好地处理低头，歪头或人背对镜头的状况。目前人体检测模块主要使用的是人体检测算法，人脸检测算法为备用功能，也可以人体检测和人脸检测算法同时运行。目前在机器人上主要使用的是基于深度学习技术的人体检测方法，其优点是检测准确度非常高，且在人体仅仅部分出现在画面中时，计算机也能很好地检测到并准确绘制出矩形人体边框，相比于传统人体检测方法，基于深度学习的人体检测方法具有很高的鲁棒性，在检测精确度方面完胜于传统的HOG特征+SVM分类器的方法，在检测速度方面，使用基于小模型的人体检测算法，有效的提高了检测速度，相比于其他深度学习算法，本算法不需要在配有专用图形处理器的电脑上运行，在降低对电脑硬件环境要求的同时也可以达到较高的检测速度，在普通CPU环境下运行处理速度即可达到每秒钟10帧左右，完全可以达到实时要求。人体检测对于输入画面具有鲁棒性，即使在高分辨率画面输入时，检测速度仍不会降低，在多人画面的情况下，检测速度也不会受到画面中人的数量的多少的影响。

人体跟踪模块的实现采用位置变化速率和物体高速跟踪相结合的方法。位置变化速率的方法实现对目标人的跟踪是建立在人体检测算法的高速运行的基础之上。其原理是对于人物在视频中的连续运动，就其人体中心位置的变化在前后帧中是连续的，也就是说在画面中选定跟踪目标后，在高速人体检测过程中，目标人的位置变化在前后帧中是连续的，所以通过连续的位置变化来判断跟踪目标。使用位置变化的方法跟踪目标的算法结构简单，速度快，但无法有效处理跟踪目标和其他目标人交叉的情况，为了应对这种情况，在人体跟踪模块中引入近些年来非常流行的相关和滤波算法，在跟踪过程中，通过计算跟踪目标位置变化得出的跟踪框和相关和滤波算法的跟踪框的拟合程度来判断该人物是否为跟踪目标，如果是跟踪目标，则更新目标的位置信息，同时重新初始化相关和滤波跟踪算法的模型。在人物存在交叉时，如果跟踪目标从其他人物前方交叉，则不受影响，如果其他人物从目标前方交叉，短时间内可以做到不受影响。此跟踪算法优势在于速度快，程序结构简单，适用范围广。

四、应用优势

广电行业在节目制作方面越来越走向智能化、IP化，机器人在该领域的应用前景广阔。演播室系统中导播、音响、摄像、播出等多个工种的工作人员的沟通、磨合需要大量时间，而且容易出现配合失误，机器人替代人可以使节目制作人员从繁重的重复劳动中解放出来，提高节目的制作质量和水平。

AGV移动系统可以遵循不同程序设定，实现同一平面内的任意移动，较传统摇臂的底座固定和传统移动轨道的单一线性设定具有极大的空间优势，可以实现对演播室空间的高效利用，其本身具有较强的可移动性，应用场景更加广泛。

传统摇臂或者轨道移动拍摄场景，即便在优秀摄像师的配合和操作下，也很难完成部分高难度动态画面追踪拍摄。通过该系统的“场景编排+路径规划”，可以轻松完成动态画面追踪拍摄，极大拓展主播或其他拍摄对象的表现能力。

升降臂活动灵活，臂的高度度可根据需求设定，较摇臂具有更大优势。机械系统的运动轨迹不仅可以实现在三维空间里任意设定，并且可以实现路径的实时存储、随时调用，所有运动轨迹可以精确到毫米级别，远远超过人工操作精度。

智能移动拍摄系统具备全功能的遥控能力，支持多轴同时操作，机器人的前进和后退、摄像机漂移、摇臂旋转可以同时独立完成，摄像师利用多轴同时操作，可以实现之前人力不能完成的摄像动作，满足影视制作设计、策划对镜头提出的复杂要求，大幅提高制作的水平。

五、预期效益

本项目全部采用国有技术，拥有完整的自主知识产权，打破了原有智能拍摄市场上全部由国外厂商垄断的局面，促进中国电视事业和媒体产业可持续发展。

人工智能在媒体领域的应用有望改变现有媒体环境，随着人工智能技术发展的宽领域和纵深化，融入人工智能技术的智能移动拍摄系统具备了节目内容制作智能化的核心能力，传统广电媒体将加快媒体深度融合，通过对人工智能技术的有效利用，赋予广播电视“智慧”发展新动能，推动广播电视全业务、全流程、全网络向智能化、智慧化转变。近两年，短视频、网络直播成为现阶段主流的信息产品形式。智能移动拍摄系统可以进一步提高了网络影视产品的制作效率，提升制作质量，同时在AR、VR技术的应用领域拥有广阔前景。

目前，智能拍摄设备基本都是国外进口，尚无具有完全自主知识产权的国产产品。智能移动拍摄系统的开发和应用，在硬件和软件方面，拥有完整的自主知识产权，将改变特殊拍摄设备依赖进口的市场格局，高性价的国产智能移动拍摄设备将惠及全国的广电企业，推动我国广电系统拍摄技术的智能化升级。

同国内外广电行业主流的轨道机器人品牌相比，智能移动拍摄系统在技术上具备无轨运行的优势，同时造价相对较低，具有相当的市场优势。我国现有电视台和影视制作机构众多，市场容量巨大，市场进深大，能容纳多层次的产品线。随着广电制播分离工作的推进，社会影视制作机构将大幅增长，这些机构也将成为智能移动拍摄设备的主要用户。在后智能拍摄市场中，智能拍摄服务和软件技术增值服务也将成为持续的增长点和超额利润的主要来源，具有更大的想象空间。