Tsiphen/Multimodal-RAG-for-Medical-Consultation

我提出了一个集成文本、图像文本多模态、图像的三维医学问诊系统：3DMed-RAG，该系统能够同时处理文本、图像、图像文本三种query形式，并做出高质量医学诊断。我们基于经典的RAG，在检索排位部分提出领域对齐负面拒绝机制，二次判断问诊的专业性；对于官方专家导诊文档（文档末尾一般有流程图概述），我们增强该流程图的数据，使llm在回答导诊路线相关回答时能更加详细。 对于医学图像，我们尝试基础的VQA-MedRAG模型，使用文本-图像对眼科描述问题进行尝试，为了提升准确性，使用Multimodal-RAG对index的文本、图像编码进行加权处理，对未知的患者图像进行有效的医学信息描述。