经常使用CLIP和LLM构建多模态RAG系统
GPT4v和Gemini vision就是探求集成了各种数据类型(包括图像、文本、言语、音频等)的多模态言语模型(MLLM)。虽然像GPT-3、BERT和RoBERTa这样的大型言语模型(llm)在基于文本的义务中体现杰出，但它们无了解和处置其余数据类型方面面临应战。为了处置这一限度，多模态模型联合了不同的模态，从而能够更片面地理解不同的数据。
GPT4v和Gemini vision就是探求集成了各种数据类型(包括图像、文本、言语、音频等)的多模态言语模型(MLLM)。虽然像GPT-3、BERT和RoBERTa这样的大型言语模型(llm)在基于文本的义务中体现杰出，但它们无了解和处置其余数据类型方面面临应战。为了处置这一限度，多模态模型联合了不同的模态，从而能够更片面地理解不同的数据。
