元相机:光计算让成像更智能
成果类型:: 发明专利
发布时间: 2022-11-17 19:10:44
本成果“元相机”重新定义成像的获取方式,把光和电在计算领域进行融合,面向智能视觉任务进行端到端优化。这种设计体系将在图像采集过程中光速执行算法处理,将感知与计算二合一,实现“光电感算一体”,大大简化后端数字图像处理的难度,降低数据成本、传输成本、计算成本和功耗成本。可支撑未来低功耗、低数据量、低计算量、高速度、集成化的智能感知设备的能力提升与应用。
成果可以对成像单元进行像素级光学编码,并利用光计算技术提升成像的效率,通过“AI+光学”的双引擎引领下一代视觉传感器的研发与制造。通过将现有的“感算分离”设计体系升级为“感算一体”设计体系,直面最终商业场景需求,逆向设计与优化视觉模组基本形态(光学模组、图像传感器、图像处理芯片与高级视觉任务算法),提供多应用场景、高效能的视觉产品。
元相机-HFR的目标群体为对长时间高速摄影存在需求的相关企业与科研单位,其中国内潜在市场约为20亿元,该市场存在成熟商用产品可供使用,但价格过于昂贵,且均为国外产品,存在购买风险与安全隐患。此外,该市场暂无可提供长时间高速摄影的相关产品。本项目将主打国产化这一卖点,抢占国内市场,进而通过长时间记录的高速摄影作为差异化竞争点,全面进军与扩展全球高速摄影市场。 元相机-HDR的目标市场为自动驾驶、消费电子、智能安防等摄像模组传统市场,其市场容量近千亿元。在该市场中,元相机-HDR将通过独有的逐像素快门特性,为HDR成像、高信噪比成像等机器视觉中最重要的需求提全新解决方案。本项目前期计划以无鬼影HDR为功能卖点,切入对“运动物体HDR成像”有较为严格要求的领域,如自动驾驶领域等。
本项目科研团队负责人为陈宏伟,清华大学电子工程系教授,博士生导师,科技部中青年科技创新领军人才、教育部青年长江学者、国家优青获得者、中组部青年拔尖人才。研究方向为光子智能感知、集成光电子学、微波光子学等。本项目创业团队来自清华、吉林大学等院校,在先进计算成像、智能视觉感知、全链路成像优化,以及成像硬件与视觉算法结合、光学技术、人工智能等领域具有丰富研发和管理经验,团队成员具有丰富的光电视觉模组销售与市场经验。
“AI+光学”为元相机的技术引擎,贯穿自研产品的研发与制造全流程。通过AI算法,直面最终商业场景需求,逆向设计与优化包含光学模组、图像传感器、图像处理芯片与高级视觉任务算法在内的图像全链路。 现阶段,该技术引擎已赋能自研的元相机产品型号中。各应用场景下的光学编码图案、图像解码算法均为联合优化与设计的结果。通过该技术引擎,产品的成像性能显著提升,达到预期目标。未来,将继续发力,除在已有的光学与算法侧深耕外,会将技术路径扩展至ISP领域,打通光学、传感、计算芯片与图像算法的全链路。 未来拟成立初创科技公司,两年内的总体目标是通过元相机产品在视觉模组领域站稳脚跟,逐渐从高端的科研、军工等领域进入工业级与消费级市场,在实现基本盈利的同时打磨“AI+光学”的核心技术引擎,尝试扩宽除元相机以外的产品线。
1.人员需求:光学、电路、光机电、成像软件及算法等领域专业人士及工程师等; 2.资金需求:按商业规划,前两年有前往级融资需求; 3.场地及合作需求:提供研发基地及领域资源对接。