免责声明:78财经所有资讯仅代表作者个人观点,不构成任何投资理财建议。
主页 > 全部资讯 > 财经新闻 > NaVILA:革新机器人导航的视觉语言模型

NaVILA:革新机器人导航的视觉语言模型

时间:2024-12-11 来源:未知 作者:Gushan

加州大学的研究团队与英伟达携手推出了一款名为“NaVILA”的全新视觉语言模型,该模型为机器人导航技术提供了创新方案。NaVILA模型通过结合视觉编码器与大语言模型,使机器人能够解读视觉信息,同时理解和执行自然语言指令,从而在导航中实现更多的自主性和灵活性。

NaVILA:革新机器人导航的视觉语言模型

视觉语言模型是一种多模态生成式人工智能模型,能够在接收到文本、图像及视频等多种形式的信息提示时进行推理。NaVILA通过将大语言模型与视觉编码器结合,使得模型不仅仅停留在“理解”文本层面,而是进一步具备了“视觉”能力。传统的机器人导航依赖于已绘制的地图和复杂的传感器设备,而NaVILA的推出颠覆了这一常规。机器人只需理解人类自然语言指令,并结合视觉图像和激光雷达的实时信息,就能感知并适应周围的环境,进而自主导航到指定目的地。

NaVILA的优势不仅在于不再依赖预设地图,还在于它将导航技术从轮式机器人拓展到了足式机器人。这意味着机器人在面对复杂的场景时,能够跨越障碍,自适应地规划路径,显著提升了其环境适应能力。在实测中,加州大学的研究人员使用了宇树Go2机器狗和G1人形机器人进行实验,结果显示,在家庭、户外和工作环境中,NaVILA的导航成功率高达88%,在执行复杂任务时也有75%的成功率。

此外,NaVILA模型在多方面展现了其技术优势。与传统视觉模型相比,它在训练成本上减少了4.5倍,同时在微调过程中的内存需求降低了3.4倍。这一优化得益于“先扩展后压缩”的技术,使得视觉信息在输入时被合理压缩,既减少了数据大小又保留了关键信息,确保了模型的高效运行。NaVILA在多模态推理方面能力突出,可以根据单一图像或视频信息回答多个问题,展现出卓越的解读和推理能力。虽然目前该模型尚未在Hugging Face平台上发布,但英伟达已承诺将很快提供代码和模型,以推动研究人员和开发者的实践与应用。

相关阅读
复星旅文宣布以高溢价私有化退市 股价大幅上涨 2分钟前发布

继复宏汉霖之后,复星集团旗下的复星旅文(01992.HK)也正式宣布将进行私有化退市。经过十多天的停牌后,公司于12月11日上午9点复牌,开盘时股价便飙升了83.25%,最终以每股7.21港元的价格收盘,涨幅达到80.25%。

NaVILA:革新机器人导航的视觉语言模型 3分钟前发布

加州大学的研究团队与英伟达携手推出了一款名为“NaVILA”的全新视觉语言模型,该模型为机器人导航技术提供了创新方案。NaVILA模型通过结合视觉编码器与大语言模型,使机器人能够解读视觉信息,同时理解和执行自然语言指令,从而在导航中实现更多的自主性和灵活性。

市场高开低走机器人概念强势,AI应用冲高回落,消费股表现亮眼 23小时前发布

今日A股市场呈现出大幅高开后持续回落的走势,截至收盘,沪深两市全天成交额达到2.2万亿元,较上个交易日放量5657亿元。尽管三大指数最终收涨,但创业板指盘中最大回落幅度超过4%,显示市场情绪在早盘高涨之后迅速转冷。值得注意的是,尽管整体市场表现疲软,机器人概念板块却维持了强劲势头,柯力传感等30余股涨停,成为市场亮点。此外,消费股一度走强,AI应用方向也在盘中活跃,但午后出现了一定程度的回调。

成都华微新产品逐步推向市场,高算力AI推理处理器预计明年发布 23小时前发布

在2024年第三季度业绩说明会上,成都华微董事兼总经理王策透露了公司在特种集成电路领域的最新研发成果和市场动向。该公司最近公告的HWD08B64GA1型8位64G超高速AD转换器已在多家用户单位形成小批量供货,标志着该产品开始进入市场应用阶段。然而,对于12月4日发布的32位高速高可靠MCU HWD32H743芯片,目前仍处于市场导入初期,尚未实现规模化销售。

港股高开低走彰显投资者理性,政策预期支撑年末市场动能 23小时前发布

港股今日的走势显示了市场的理性反应,尽管开盘时市场情绪高涨,但随后的回落表明投资者在面对不确定性时采取了更为谨慎的态度。中泰国际对财联社的评论指出,这种高开低走的现象正好体现了投资者的理性,同时也预示着接下来随着12月中央经济工作会议为明年经济工作定调,市场仍存在一定的上行动力。

A股成交额再破2万亿,连续50个交易日超万亿创历史纪录 23小时前发布

今日(12月10日),A股市场大幅放量,全天成交额接近2.2万亿元,较昨日增长近5670亿元,增幅约34.1%,这是自11月13日以来成交额再次突破2万亿元关口。这一显著的成交量增长不仅标志着市场活跃度的提升,也刷新了连续50个交易日成交额超过万亿元的历史记录。

市场活跃连板股频现,机器人与AI概念引领涨势,消费板块表现强劲 23小时前发布

今日市场呈现出一片活跃景象,共有109股涨停,62股未能保持涨停状态(即“炸板”),封板率达到了64%。值得注意的是,一些股票连续多日涨停,例如一鸣食品实现了11连板,泰尔股份达到9连板,显示出市场的强劲势头和投资者对特定板块的强烈兴趣。沪深两市全天成交额达到了2.2万亿元,相比上个交易日增加了5657亿元,反映出市场交易热度显著上升。截至收盘,主要指数小幅上涨,上证指数(沪指)涨0.59%,深证成指(深成指)涨0.75%,创业板指数(创业板指)涨0.69%。

山东高速与深圳安居集团因恒大股权转让款项陷入持续债务纠纷拉锯战 23小时前发布

山东高速与深圳安居集团之间围绕恒大股权转让款项支付问题的债务纠纷再次进入公众视野,显示出两家国资企业之间的复杂法律拉锯战。这一情况在山东高速(600350.SH)与投资者互动时得到了体现,尤其是在上证e互动平台上的一次问答中。

小米汽车YU7即将上市,对标特斯拉Model Y,挑战SUV市场 23小时前发布

小米汽车官方微博宣布,其首款SUV车型YU7预计于明年六七月正式上市。这款备受期待的电动汽车正在经历大规模路测阶段,以确保产品在正式推出前达到最高质量标准。小米集团董事长兼CEO雷军表示,提前公示测试车信息旨在帮助团队尽早去除车辆上的厚重伪装,从而更全面细致地进行长时间的大规模测试,为消费者提供更加完善的产品。

中国11月贸易数据出炉:铝材出口领跑,贸易顺差持续扩大 23小时前发布

根据中国海关总署最新发布的11月份货物贸易进出口数据,中国11月出口(以美元计价)同比增长6.7%,相较于前值12.7%有所放缓;进口方面则下降3.9%,较之前值的2.3%降幅有所扩大。尽管如此,中国的贸易顺差依然保持强劲势头,达到了974.4亿美元,较上月的957.2亿美元进一步扩大。

特斯拉Optimus人形机器人展现复杂地形行走能力,未来将引入视觉系统与更多改进 23小时前发布

当地时间12月10日,特斯拉机器人官方账号发布了一段视频,展示了其人形机器人Optimus在复杂地形上行走的最新进展。这段视频选取了三处遍布杂草和落叶、坡度最高约为30度的地点进行测试。从视频中可以看到,Optimus不仅能够成功地上坡和下坡,尽管行动略显笨拙,但其步速与普通人的速度相近,并且全程没有摔倒。特别值得注意的是,在从最陡峭的一个坡上向下走时,Optimus首次尝试出现了“脚底打滑”的情况,差点失去平衡,但迅速恢复;第二次则表现得更加稳定,没有再次出现类似险情。这不

谷歌与Meta的秘密广告合作引发欧盟监管机构深入调查 23小时前发布

最新报道指出,欧洲监管机构已向谷歌公司提出进一步要求,需提供更多关于其与Meta平台之间秘密广告合作的详细信息。该合作被指绕过了谷歌自身对于未成年人保护的规定,引起了欧盟委员会的高度关注。据内部人士透露,欧盟委员会官员正积极调查“谷歌是如何协助Meta实施一项隐蔽营销计划”的,并且已经收到了由谷歌母公司Alphabet整理的相关资料。

A股市场连板股分化加剧,AI与机器人板块轮动明显 1天前发布

12月9日,A股市场呈现出明显的结构性分化特征。尽管沪深两市全天成交额达到1.63万亿元,较上个交易日缩量1543亿元,但仍有104只个股涨停,显示市场活跃度依然较高。然而,盘面上热点较为杂乱,大部分活跃板块冲高回落,短线走势分化显著。截至收盘,沪指微跌0.05%,深成指和创业板指分别下跌0.55%和0.81%,显示出大盘整体维持震荡格局。

华尔街最乐观声音:奥本海默预计标普500指数明年将达7100点,人工智能成关键驱动力 1天前发布

随着2024年的临近尾声,华尔街各大投行纷纷发布了对2025年美股走势的预测。在这之中,奥本海默资产管理公司(Oppenheimer Asset Management)的声音尤为突出,其分析师给出了华尔街上最为乐观的预期——标普500指数将在明年年底前上涨至7100点。这一目标点位不仅超越了其他投行的预估,也意味着相较于最新收盘价,美股股价预计将上涨约17%。

A股连板股分化,一鸣食品豪取10连板成市场焦点 1天前发布

12月9日,A股高位连板股的表现呈现出明显的分化趋势。一方面,山东矿机、日发精机、大业股份等曾经的“连板明星股”在今日遭遇跌停,结束了它们的辉煌涨势;另一方面,一鸣食品、泰尔股份等股票则继续其连板之旅,其中一鸣食品更是以10连板的成绩成为当前市场上连续涨停次数最多的股票,同时它已经连续上涨了11个交易日,位居A股之首。

Copyright © 2021-2022 78Game. All rights reserved. 闽ICP备2024058879号-7