LLaVA是微软研究院推出的多模态AI模型，结合大型语言模型和视觉编码器，能同时处理文本与图像信息，它支持多模态数据处理，结合视觉与语言，实现深度融合。高效训练与轻量级设计，使其具有广泛应用潜力。同时，LLaVA具备高度可扩展性和灵活性，且代码开源，促进社区发展，持续推动模型优化。 随着医疗行业的蓬勃发展，医疗数据的规模呈现井喷式增长态势，给医生和医疗机构带来挑战与压力。而大模型的应用可以有效地缓解压力。根据大模型的数据处理与分析能力，可以深入挖掘病历、医学影像、生物信息等多元化医疗数据源中的隐藏价值，提高诊断的准确性和效率。大模型具备强大的学习与预测能力，通过对历史病历的深度学习和分析，预测患者未来的病情走向，使得医生能够提前制定个性化的治疗方案，从而更加有效地控制病情。 大模型在医疗助手领域的融入，其背景价值显著且深远。不仅为提升医疗服务质量与效率铺设了坚实基石，还有效助力医疗成本的削减与资源的优化配置。这一趋势不仅响应了国家对提升医疗服务水平、增强民众健康福祉的号召，也顺应了医疗行业向智能化、精准化转型的必然趋势。大模型在医疗助手领域的广泛应用前景将是一片光明，为推动我国医疗健康事业的蓬勃发展贡献重要力量。 本项目采用医院采集的医生对皮肤疾病问题的分析与诊断，制作医疗问题对话数据集，作为微调数据集。每条数据包括包含三个字段：instruction（指令或问题）、input（额外的输入信息或上下文），以及output（期望的输出或回答）。利用此数据集，基于 LLaVA-13B，进行微调，来回答医生问题。