波多野结衣 女同 上海大学上海电影学院在野神思视觉国外顶会CVPR上发表询查服从
近日，上海电影学院影视工程系谢志峰、李梦甜西宾团队的询查责任《SonicVisionLM: Playing Sound with Vision Language Models》得手被野神思视觉国外顶级学术会议 The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2024（CVPR）托福波多野结衣 女同，是上海大学上海电影学院初度以第一单元在野神思视觉国外顶级会议上发表高水平学术论文，亦然上海大学“艺术时刻”阵脚设立的最新询查服从。
CVPR是野神思视觉界限顶级会议（CCF-A类），每年皆劝诱群众繁密顶尖科研责任者投稿，其托福论文代表着野神思视觉界限最新的询查服从，引导着该界限将来的询查标的。左证巨擘的Google Scholar Citation最新统计，CVPR的H5-index为389，位列群众出书物第四（Nature位列第一），工程与野神思类出书物第一，泛东说念主工智能界限第一。
论文初度使用AIGC时刻为电影自动生成音效，以大幅编造电影配乐制作的时分和东说念主力老本，有用镌汰电影制作周期。具体来说，论文通过视觉-说话模子提倡可控的音效生成框架SonicVisionLM，用于自动识别并生成影片的屏内音效，并配套提供了用户交互模块，用于配音师对影片的屏外音效驱散创作裁剪，引发创作灵感。在时刻上针对生成音效与影片动作的时分同步的贫苦，和生成音效与影片本色的高度一致的问题，最终驱散了影片本色与屏内音效的逻辑交融，以及对屏外音效的天真裁剪。论文提倡的行径在无条件生成和条件生成任务中皆赢得了面前最好的实验效果。同期，论文为学术社区孝敬了公开的高质地的音效数据集CondPromptBank，其包含23个常见音效类别，10276 个孤独条款，每个条款包括一个短于或便是10秒的高质地音效文献、对应文本和时分戳。论文原文、代码和数据集详见名目主页：https://yusiissy.github.io/SonicVisionLM.github.io/（名目主页展示了经典影片《泰坦尼克号》和《这个杀手不太冷》的音效生生效果示例）。该论文的学生一算作余盛叶，数字媒体创意工程硕士询查生二年纪在读；学生二算作何其乐，数字媒体创意工程硕士询查生一年纪在读。
亚洲在线视频自拍精品
SonicVisionLM暗示图：图中蓝色部分闪现屏内音生成经过：领先，一段无声视频投入视觉-说话模子，得到声息文本；其次，视觉收集对视频进行处分，捕捉声息事件时分戳；终末，这两个条件将被输入扩散模子，以生成与屏幕上的本色相匹配的屏内音效。紫色部分显现了用户如何创建和裁剪屏外音效。
西宾团队先容：
谢志峰，工学博士波多野结衣 女同，现为上海大学上海电影学院影视工程系、上海电影殊效工程时刻询查中心副解说、博士生导师，中国电影电视时刻学会电影高新时刻专科委员会委员。主要从事野神思图形学、野神思视觉、电影高新时刻等方面的询查。主握国度当然科学基金、上海市科委科技改变、上海市教委科研改变、企业寄托等各级别课题10余项，参与973、863、当然基金重心、面上等多项国度级课题，发表高水平论文40余篇，其中SCI/EI收录30余篇（含国外顶级期刊默契论说文10篇），出书专著1本，央求专利和软件著述权17项。获的2014年上海市科技卓著二等奖，2017年上海大学蔡冠深优秀后生西宾奖，2022年中国野神思图形学大会最好论文奖，及2023年CAD/Graphics 2023国外学术会议最好论文奖。仍是赴香港城市大学野神思系作拜访学者。
李梦甜，工学博士，博士后，现为上海大学上海电影学院讲师，硕士生导师。任中国野神思学管帐算机接济想象与图形学专委会施行委员，中国图像图形学学会数字文娱与智能生成专委会专科委员、数字文娱与仿真专委会专科委员，野神思图形学与搀杂本质在线平台（GAMES）施行委员。主要询查标的为野神思视觉、野神思图形学。参与国度当然科学基金紧要、面上、社科紧要，上海市科委、经信委紧要等科研名目。获CAD/Graphics 2023国外学术会议最好论文奖。以第一作家/通信作家在野神思国外顶级期刊默契议CVPR、ECCV、PR上发表论文多篇，担任野神思视觉顶级学术会议和期刊CVPR、ICCV、ECCV、ICLR、ICML，NeurIPS、AAAI、TIP，TCSVT，PR审稿东说念主。
热点资讯
- 女同 telegram 蛟龙号完成首个航段科考任务 创造近底航距记载
- ✨白蛇 白虎 虎 龍 福 /24k 御守り お守り 爱奇艺2020年Q1财报：会员鸿沟与收入抓续高增
- 正太 男同 爱奇艺Q4亏本同比扩大20% 日均订阅会员数跌破1亿|和讯曝财报
- 激萌系列 多身分催化耗尽级AI智能眼镜普及，主办产业变革契机|雷一又|ar|依视路|bolon|耗尽
- 激萌系列 戛纳红毯赖着不走停了6分钟？马苏修起：为宣传电影
- fss 露出 微商大电影《逆袭东谈主生》爱奇艺首播
- 激萌系列 “南边醒悟”微记录片｜万隆精神的时期回响
- 激萌系列 雪莉记载片首播：好像，全世界俄顷爱你了
- 女同 telegram 《东谈主世间》导演李路谈东谈主世间 规复中国社会的沧桑剧变
- 小宝 探花 记载片《故宫100》首映
