...据报道,沙特阿拉伯阿卜杜拉国王科技大学的科研工作者已经开发出一种系统,可以让您通过上传自己的皮肤照片自动进行皮肤病诊断!
具有自动判断特征和类别、进行分析、提出处理方法的功能。
它是第一个使用大规模皮肤病图像和医生笔记进行微调的LLM皮肤病诊断系统。
重要的是,该论文指出该系统可以在本地部署,从而保护用户隐私。
参考论文信息
标题:SkinGPT-4:具有视觉大语言模型的交互式皮肤病诊断系统
作者:周觉晓、高欣
网址:https://arxiv.org/abs/2304.10691
口袋里的皮肤科医生
皮肤和皮下疾病在全球非致命性疾病的负担中名列前茅,影响了相当一部分人口。然而,皮肤病诊断领域面临着三个重大障碍。首先,特别是在农村地区,缺乏可用于诊断病人的皮肤科医生。其次,准确解释皮肤病图像是一个相当大的挑战。最后,对皮肤科医生来说,生成方便病人的诊断报告通常是一项耗时和劳动密集型的任务。为了应对这些挑战,我们提出了SkinGPT-4,它是世界上第一个由先进的视觉大语言模型驱动的互动式皮肤病诊断系统。SkinGPT-4利用MiniGPT-4的微调版本,在大量的皮肤病图像(包括52,929张公开的和专有的图像)以及临床概念和医生笔记上进行训练。我们设计了一个两步的训练过程,使SkinGPT-4能够用自然语言表达皮肤病图像中的医学特征,并对皮肤病的类型做出准确的诊断。通过SkinGPT-4,用户可以上传自己的皮肤照片进行诊断,系统可以自主评估图像,识别皮肤病的特征和类别,进行深入分析,并提供互动的治疗建议。同时,SkinGPT-4的本地部署能力和对用户隐私的承诺也使它成为寻求可靠和精确的皮肤病诊断的病人的一个有吸引力的选择。为了证明SkinGPT-4的稳健性,我们对150个真实案例进行了定量评估,这些案例由经过认证的皮肤科医生独立审查,结果表明SkinGPT-4可以提供准确的皮肤病诊断。虽然SkinGPT-4不能替代医生,但它可以提高用户对其医疗状况的理解,促进改善病人和医生之间的沟通,加快皮肤科医生的诊断过程,并有可能促进以人为本的护理和不发达地区的医疗公平。