免责声明:78财经所有资讯仅代表作者个人观点,不构成任何投资理财建议。
主页 > 全部资讯 > 财经新闻 > 对标Sora、“国产最强”视频大模型Vidu,真有那么强吗?

对标Sora、“国产最强”视频大模型Vidu,真有那么强吗?

时间:2024-04-28 来源:未知 作者:Gushan

大模型领域最热话题又重新回到视频模型上,因为一家创业公司被认为做出了“最强国产Sora”。4月27日,在中关村论坛未来人工智能先锋论坛上,生数科技联合清华大学发布了具有“长时长、高一致性、高动态性”性能标签的视频大模型Vidu,可根据文本描述直接生成长达16秒、分辨率达1080P的高清视频内容。

对标Sora、“国产最强”视频大模型Vidu,真有那么强吗?

高一致性是团队着重强调的特点。清华大学人工智能研究院副院长、生数科技首席科学家朱军表示,当前国内视频大模型的生成视频时长大多为4秒左右,Vidu则可实现一次性生成16秒的视频时长。同时,视频画面能保持连贯流畅,随着镜头移动,人物和场景在时间、空间中能保持高一致性。

在动态性方面,Vidu的动态镜头在推、拉、移之外,开始涉及一段画面中远景、近景、中景、特写等镜头的切换,以及直接生成长镜头、追焦和转场效果。物理规律方面,朱军介绍称,Vidu可以模拟真实物理世界中细节复杂且符合物理规律的场景,例如合理的光影效果、细腻的人物表情等,还可生成具有深度和复杂性的超现实主义内容(例如“戴珍珠耳环的猫”)。

在生数科技放出的视频物料中,的确有不少用户反馈认可其时间与空间上的一致性表现,而这是视频模型在长时长内容生成上需要克服的关键问题。

一致性表现不能独立于视频时长以外单独讨论。目前,Vidu对外公布的时长上限是16秒,Sora最大时长则是1分钟。今年2月Sora推出后,生数科技内部成立了攻坚小组,加快原本视频方向的研发进度。3月,内部实现8秒的视频生成,并在4月提升到16秒生成,但团队没有公布更多技术突破的细节。

从已有信息来看,技术路线上,Vidu采用的是自研U-ViT架构,与Sora一样是Diffusion和Transformer的融合架构。这种架构不采用插帧的多步骤处理方式来生成视频,而是通过单一步骤“端到端”直接生成内容,从文本到视频的转换是直接、连续的。

这意味着,Vidu同样绕不开模型训练的Scaling Law(规模法则),需要不断堆积更大参数和更多算力。

算力限制之外,一名有多模态大模型训练经验的创业者对界面新闻记者表示,生成数据的差距是国内视频大模型与Sora之间的重要差别。视频大模型需要大量的数据收集,其路线是一个逐渐细化和确定的过程。从实现上来讲,这是一个确定性事件,但需要一定时间。

因此,尽管生数科技在两个月内有如此提升已经是算法和工程能力上的突破,但在同等性能表现下追平Sora的1分钟时长,真正做到全面对标Sora,必然还有较长的一段路要走——至少不是“两倍于两个月”这样简单的线性估算。

“16秒跟1分钟,看起来大概差四倍,但中间的误差累计到后面可能不只是四倍的算力或者工程能力能弥补的。”一名大模型领域投资人对界面新闻记者表示。

他同时指出,其实Vidu和Sora一样,目前释放的素材并不足够多,从其发布的物料来看一致性表现的确不错,但还是很难做出更准确的判断。

在这一视角下,Vidu与Sora可直接比较的维度或许更多在于以镜头语言为代表的动态性,以及对物理世界规律的理解与模拟能力等方面。而长时长与一致性构成的核心性能,还需要等待后续版本迭代做进一步比较。

相关阅读
内外资同时加仓证据来了!港股ETF包揽涨幅前排,如何把握机会? 2分钟前发布

港股反弹带动A股回暖,市场在上周迎来明显的增量资金。Wind数据显示,本周(4月22-26日期间)市场净流入资金达到了535亿元。沪深300ETF等宽基ETF吸金能力最强,合计资金流入达到380亿元,华泰柏瑞沪深300ETF单周净流入74.45亿元,规模重返2000亿。跨境ETF同样获得资金青睐,单周净流入达到225亿元。

对标Sora、“国产最强”视频大模型Vidu,真有那么强吗? 7分钟前发布

大模型领域最热话题又重新回到视频模型上,因为一家创业公司被认为做出了“最强国产Sora”。4月27日,在中关村论坛未来人工智能先锋论坛上,生数科技联合清华大学发布了具有“长时长、高一致性、高动态性”性能标签的视频大模型Vidu,可根据文本描述直接生成长达16秒、分辨率达1080P的高清视频内容。

成都房产新政来了!不再审核购房资格 10分钟前发布

4月28日讯,今日,成都市房地产市场平稳健康发展领导小组办公室发布《关于进一步优化房地产市场平稳健康发展政策措施的通知》,从4月29日起,成都市商品住房项目不再实施公证摇号选房,由企业自主销售;全市范围内住房交易不再审核购房资格。

罕见大跌,千亿级银行股直逼跌停! 1天前发布

去年四季度净利润同比下降江苏银行逼近跌停4月26日早盘,江苏银行大幅度低开,盘中最高跌幅达到9.83%,午间收盘跌9.6%,回吐近一个月的全部涨幅,这也是公司上市以来首次下跌9%以上,早盘成交大幅放量,半天成交金额超42亿元。江苏银行今年以来缓步走高,不含早盘跌幅,年内涨幅超26%,昨日股价还创出近7年来新高,市值一度超1500亿元。

贾跃亭:造车成功并还债之日就是回国之时 1天前发布

贾跃亭与周鸿祎的隔空喊话又有新进展。4月25日,法拉第未来(FF)创始人贾跃亭回应360创始人周鸿祎喊他回国的言论称,“造车成功并还债之日,就是我回国之时。”同时他透露,自己已经累计偿还了100多亿美元债务。

上海高端住宅市场爆发 四大楼盘一个月吸金447亿 1天前发布

在“中海顺昌玖里”日销196.53亿元、创全国商品房单次开盘最高销售额纪录之后,不到一个月里,上海又出现三大热销豪宅楼盘。4月18日,位于上海陆家嘴板块的江景豪宅“滨江凯旋门”开盘售罄,单日收金70.27亿元。该项目开发商为港资新鸿基,共推出房源212套,主力面积在128平方米至369平方米,销售均价为17.28万元/平方米。

券商合并潮起!谁将成为“新提法”后首单并购成功案例? 1天前发布

券商合并热度正持续升温,利好政策信号推动券商板块集体大涨。4月26日,券商股集体爆发带动大盘集体上涨,沪指盘中冲击3100点,截至收盘放量大涨1.7%,深证成指、科创50涨超2%,创业板指涨超3%。两市共计82只个股涨停封板,成交额突破万亿关口。行业板块方面,券商股表现一骑绝尘,券商指数大涨6.04%。多元金融、贵金属、房地产等板块跟涨。个股方面,国盛金控、浙商证券、太平洋证券、方正证券、首创证券、中国银河6只股票盘中一字涨停,锦龙股份、中金公司涨超9%,券商板块内个股均涨超

2024年4月26日收评:券商、AI双双爆发!两市成交额重回万亿 1天前发布

4月26日讯,市场全天震荡反弹,高开高走,创业板指领涨,沪指创年内收盘新高。盘面上,券商等金融股集体爆发,国盛金控、太平洋、浙商证券、财富趋势等10余股涨停。量子科技概念股盘中大涨,浩丰科技、科大国创、天和防务均20CM涨停。AI概念股展开反弹,CPO、算力方向领涨,中际旭创、新易盛均创历史新高,真视通、中贝通信等涨停。低空经济概念股冲高回落,宗申动力、川大智胜等涨停。下跌方面,银行股陷入调整,江苏银行跌超9%。总体上个股涨多跌少,全市场超3900只个股上涨,近百股涨停或涨超

AI竞赛太逊色?英特尔Q1业绩及指引全部“落空” 2天前发布

由于数据中心和个人电脑(PC)市场需求依然疲软,而且在人工智能(AI)竞赛中并无出彩表现,英特尔的复苏之路注定坎坷,短期内要夺回芯片领域“王座”也是不可能了。美东时间周四(25日)盘后,英特尔发布了逊于预期的第一季度业绩报告,且该公司对第二季度的业绩指引也令人失望。受这份财报影响,该公司股价在盘后交易中大跌约8%,今年迄今该股跌幅已超26%。

“偷油”又偷税!加油站作弊内幕曝光 2天前发布

近日,河南商丘永城市和虞城县的两家加油站,通过软件实现加油机计量作弊,司机加油时“缺斤少两”一事引发社会关注。目前,涉事加油站所使用的作弊工具已完成司法鉴定。涉案加油站的计量误差在1.02%左右,是国家允许误差范围的3倍。

又两家拟IPO企业疑似“清仓+透支”式分红,分红额超同期净利润 2天前发布

拟IPO企业前脚大额分红,后脚募资还债或补流这类“清仓+透支”式分红,一直是监管高度关注的情形。3月15日,证监会连发四大重磅政策。其中,《关于严把发行上市准入关从源头上提高上市公司质量的意见(试行)》中明确提出,要严密关注拟上市企业是否存在上市前突击清仓式分红等情形,严防严查,并实行负责清单式管理。

算力板块“爆”了!工业富联涨停 新一波行情酝酿中? 2天前发布

4月26日讯,今日算力概念板块大涨,截至午间收盘,森远股份20%涨停,迈信林、铜牛信息上涨超15%,中际旭创、亚康股份等上涨超12%,工业富联涨停,封单超27万手,截至午间收盘,报收24.41元/股,市值为4849亿元。

港股与A股各自涨嗨,外资再现强烈买入信号,北向流入超百亿 2天前发布

如同深圳突发红色暴雨,美股也传来隆隆雷声,经济数据突然爆冷,对持续通胀的担忧,让市场怀疑美联储到底何时能降息,扰动全球资产不安的一夜。

突然拉升!减肥药火热 化工板块狂掀涨停潮! 2天前发布

4月25日,A股各大指数开盘走低:上证指数报3037.93点,跌幅为0.23%;深证成指跌0.5%,创业板指跌0.7%。上午市场震荡拉升,截至发稿,上证指数、深证成指均已翻红。行业板块方面,上午化工股涨幅居前,精细化工、化工原料等细分赛道大涨,PEEK材料、钒电池、磷化工、减肥药等指数走高;国防军工、食品饮料、社服等板块不振,卫星互联网、抖音平台、大飞机等概念走低。

内存市场暖意回归!SK海力士迎业绩暴涨 2天前发布

当地时间周四,全球第二大内存芯片制造商SK海力士发布了强劲的第一财季财报。SK海力士预计,随着人工智能相关需求的激增,内存芯片市场将全面复苏。不过,尽管SK海力士财报表现强劲,但周四早些时候,美股科技巨头Meta的业绩展望不佳,上调资本支出的计划也令市场担忧,这使得同样计划上调资本支出的SK海力士也受到牵连,其股价在周四下跌。

Copyright © 2021-2022 78Game. All rights reserved. 鄂ICP备16015848号-9