7月5日，在2024世界人工智能大会，支付宝多模态医疗大模型正式亮相，成为国内首批多模态医疗大模型之一。基于蚂蚁百灵的多模态能力，该模型可实现直接理解并训练音频、视频、图、文等多模态数据。测试期间，对诊疗报告、医学药品、毛发状况等识别准确率达90%以上，中英文医疗考试、基准测试达到或超过GPT4水准。