近日,上海电影学院、上海电影特效工程技术钻研中心李梦甜课题组(MAGIC Lab)的前沿钻研论文《VERTIGO:Visual Preference Optimization for Cinematic Camera Trajectory Generation》(电影级摄像机轨迹天生的视觉偏好优化)被第19届欧洲推算机视觉国际会议(European Conference on Computer Vision,简称 ECCV2026)录用。论文的学生第一作者为2024级硕士钻研生陆毓炜,学生第二作者为2022级电影造作专业本科生李菲菲。此项钻研得到了国度天然科学基金的支持,法国巴黎综合理工学院助理教授王玺参加合作。
ECCV与CVPR、ICCV并称推算机视觉领域三大国际顶级会议,也是人为智能领域公认的最高水平学术会议之一,每两年进行一届,代表了该领域全球最前沿的钻研水平。这次论文录用标志取上海电影学院在“AI+影视”领域的全新突破,代表了学院的科研实力获得国际学术界的高度认可。

图1:VERTIGO后训练算法概览与成效对比
在电影拍摄的过程中,导演与摄影师的协同作业组成了镜头说话精确通报的主题关环。近年来,天生式 AI 在推算摄影学领域获得了显著突破,已能实现基于文本描述的 3D 摄影机活动轨迹自动天生。然而,目前的瓶颈在于,主流天生模型普遍不足一个可能审视视觉美学与构图合理性的反馈机造。这种机造缺位导致了严沉的“大局与内容脱节”——模型输出的轨迹固然在几何空间内阐发合理,但在现实渲染阶段却再三露出出构图缺点、主体出画、视觉美学匮乏等问题。
VERTIGO 是首个将视觉偏好优化系统性整合进摄影机轨迹天生的框架,开创性地引入了人类导演的审美判断。钻研团队通过技术伎俩,为 AI视频天生模型赋予了一双“审美的眼睛”。这不仅是对摄像机几何轨迹的拟合,更是对电影视觉艺术尺度的钻营,标志取视频天生从单纯的“蹊径规划”向更高阶的“美学把控”逾越。
VERTIGO 沉构 AI 电影造作的“虚结构片”流程。它构建了一个前所未有的高速关环训练系统,彻底突破了传统天生模型“盲拍”的局限。具体而言,实时图形引擎表演了主题角色。它如统一个高效的预演场,能以比扩散模型快数个数量级的效能,将 3D 轨迹瞬间渲染为 2D 视觉预览。这种极致的速度,让“天生-评估-建改”的训练关环成为可能。摄影机轨迹天生器充任“摄影师”,接管文本指令,天生3D摄影机活动轨迹;经过电影摄影美学微调的视觉大模型充任“导演”,自动审片,评估镜头的视觉质量;“摄影师”与“导演”进行智能博弈。那么,若何让“导演”客观地评价镜头?VERTIGO创新性地提出了循环语义评分机造,摒弃了传统的给画面单一打一个数字分数的方式,转而让视觉大模型用天然说话去反向描述看到的画面。通过将描述与原始指令在语义空间比对,系统能敏感捉拿到构图的误差——正如导演在复盘时指出“这不是我要的感触”。尝试证明,这种基于语义的反馈,是唯一能不变保留摄影轻微差距的评分战术。
在数据层面,钻研团队构建 LenScript 数据集,蕴含 12 万条轨迹、2160 万帧画面,覆盖活动类型、景别、拍摄方向、拍摄角度、画面地位五大电影摄影维度的精密标注,并支持焦距陆续节造,是目前规模最大、标注最丰硕的镜头轨迹合成数据集。VERTIGO 选取直接偏好优化(DPO)对天生器进行后训练。在几何指标与目前最优步骤吃旖的同时,险些解除了“角色跑出画框”的顽疾。34位用户尝试参加者(含11位电影导演、摄影专业从业者)的评价也一致印证了VERTIGO在构图、指令遵循与视觉美感上的显著优势。
VERTIGO的意思远不止于一项技术突破。它第一次在单调的几何轨迹和现实的镜头画面之间成立了联系,让 AI 天生的镜头不再只是“数学上对”,而是“视觉上可用”,把推算电影摄影真正推向了能用的阶段。在 AIGC 内容井喷确当下,VERTIGO 搭建了一条端到端的智能创作流程。其技术个性展示出极强的普适性:对AI 电影与预可视化,实现从文本到镜头的精准转译,降低试错成本;对AI 短剧与漫剧,以近乎零出画率的不变性,解决批量出产中的构图崩坏难题;对AI 动画,强化动态角色追踪能力,支持多元风格的艺术表白。
这项成就标志取上海电影学院正式在国际顶尖学术舞台占据了一席之地。在竞争白热化的AI国际顶级会议上,学院输出了高含金量的技术成就,同时清澈地传递了“上电思路”:不钻营单纯的算力堆叠与技术炫技,而是对峙让AI技术服务于电影艺术创作的性质需要。这种“技术+艺术”的双沉考量,为当前左袒工程的 AI 钻研领域,提供了一个兼具实用价值与人文视角的钻研思路。
老师介绍:

李梦甜,工学博士,博士后,现彩运网上海电影学院、上海电影特效工程技术钻研中心讲师(助理教授),MAGIC Lab PI。重要钻研方向为面向影视、游戏与艺术领域的数字内容理解与天生、人机交互、人为智能艺术创作。以第一/通讯作者颁发CCF A/SCI-Q1论文20余篇,国度授权专利多项。主持国天然青年科学基金,上海市科委“科技创新行动打算”面上基金,“CCF-网易雷火结合基金”二期,入选彩运网“青年英才启航打算”。参加国度沉点研发打算、国度社科沉大、国天然面上基金(4项)。担任SIGGRAPH、CVPR、ICML、TPAMI等国际顶会顶刊审稿人、期刊编委,兼任中国推算机学会(CCF)、中国电影电视技术学会、中国图象图形学学会(CSIG)有关专委会执行委员、常任委员。