咖趣阁

手机浏览器扫描二维码访问

第311章 降温（第2页）

对于常见的模式，我们对研究论文进行了深入评述，分析了它们之间的内在联系和共同面临的挑战。

我们对未来的发展方向进行了翔实的分析，其中可能包含应对当前许多挑战的有前途的解决方案。

2定义和背景为了更好地了解激发多模态检索增强的现状和进展，我们首先定义并讨论了两个关键概念的背景：多模态学习和检索增强生成（RAG）。

2.1多模态学习多模态学习是指学习不同模态数据的统一表征。

它的目的是提取互补信息，以促进合成任务的完成（Baltrusaitisetal.Baltrusaitisetal.，2018;Gaoetal.，2020）.在这项调查中，我们包括了所有格式不同于自然语言的模式，其中包括图像、代码、结构化知识（如......例如表、知识图谱）、音频和视频。

3多模态检索-增强生成每种模式都有不同的检索和合成程序、目标任务和挑战。

因此，我们按图像、代码、结构化知识、音频和视频等模式对相关方法进行分组讨论。

3.1图像预训练模型的最新进展为一般图像-文本多模态模型提供了启示。

然而，这些模型需要大量的计算资源进行预训练，并需要大量的模型参数--因为它们需要记忆大量的世界知识。

更关键的是，它们无法有效处理新知识或领域外知识。

为此，人们提出了多种检索增强方法，以更好地整合图像和文本文档中的外部知识。

在一般的文本生成任务中，图像检索也可以通过扩展文本生成语境来提高生成质量，从而增加"

想象力"

。

视觉问题解答（VQA）为了解决开放域的VQA问题，RA-VQA（Lin和Byrne，2022b）通过对检索到的文档进行近似边际化预测，联合训练文档检索器和答案生成模块。

它首先利用现有的对象检测、图像标题和光学字符识别（OCR）工具将目标图像转换为文本数据。

然后，它执行密集段落检索（DPR）。

也将LLM视为隐式知识库，并从GPT-3中提取相关隐式信息。

即插即用利用根据初始问题定位相关部分。

然后，它对检索到的图像补丁执行图像标题处理，以获取增强上下文。

除了纯文本增强上同时检索文本和图像数据，并将图像作为视觉标记。

RAMM（Yuanetal.，2023）检索类似的生物医学图像和标题，并通过不同的网络对其进行编码。

图像标题生成多种风格的标题、周和龙（2023）在生成标题前使用了一种风格感知视觉编码器来检索图像内容。

除了对视觉信息进行简单的编码外，Cho等人还使用了视觉编码器、Choetal.（2022）进一步使用图像-文本对之间的多模态相似性作为奖励函数来训练更精细的字幕模型。

除了检索图像元素外、

本小章还未完，请点击下一页继续阅读后面精彩内容！

过检索新闻文章中的视觉基础实体来处理新闻图片标题。

视觉基础对话Leeetal.，2021b）要求检索视觉信息以生成相关的对话回复。