单张3090让大模型“看”《黑悟空》，港大百度发布VideoRAG

文章预览

VideoRAG团队 投稿 量子位 | 公众号 QbitAI 处理数百小时超长视频，单张3090就够了？！ 这是来自香港大学黄超教授实验室发布的最新研究成果—— VideoRAG 。 具体而言，VideoRAG可以在单张RTX 3090 GPU (24GB）上高效处理长达数百小时的超长视频内容。这意味着只需要一张普通的显卡，就能一口气完整观看一部《黑悟空》这样的长视频。 此外，VideoRAG还拥有 创新的多模态检索机制 。 它采用了动态知识图谱构建和多模态特征编码的技术，将视频内容浓缩为基于多模态上下文的结构化知识表示。这不仅支持复杂的跨视频推理，还能够精准地进行多模态内容检索。 而且，为了推动该领域的进一步发展，研究团队还发布了 LongerVideos基准数据集 。 该数据集涵盖了 160多个 长达数小时的视频，为未来的研究提供了宝贵的支持。 更多具体内容如下。 突破传统文本RAG跨 ………………………………