多模态手术大模型CARES Copilot 1.0发布

信息时间：2024-03-22 信息来源：中国科学院自动化研究所

3月11日，由中国科学院自动化研究所和中国科学院香港创新院人工智能与机器人创新中心联合研发的医疗垂直领域的AI多模态大模型——CARES Copilot 1.0在香港科学园正式发布，现已面向香港神经外科医生开放使用。

中国科学院香港创新研究院人工智能与机器人创新中心执行主任、中国科学院自动化研究所研究员刘宏斌介绍，CARES Copilot 1.0实现了对图像、文本、语音、视频、MRI、CT、超声等多模态手术数据的深入理解，能够准确识别和解析如动作、影像和生命体征等多种医疗信息。CARES Copilot 1.0结合了大模型的广泛知识和小模型的专业精准，可以进行高级的图像和视频语义提取，同时利用语言模型进行深层次理解，在医学多场景多任务的理解与处理方面取得了显著进展，可支持手术阶段识别、器械与解剖结构分割、器械检测与计数、MRI高分辨率图像生成等一系列功能。在实际应用中，CARES Copilot 1.0不仅可为临床医生提供手术阶段的详细分析报告，还能进行手术风险与质量评估，从而提高医疗服务水平。

此外，CARES Copilot 1.0拥有长达100K上下文窗口的理解与高效分析能力，能够处理超过3000页的复杂手术教材，对于年轻医生的培训和教学具有极高的实用性。通过深度检索功能，Copilot 1.0能够快速精确地提取手术教材、专家指南、医学论文等专业文档信息，确保所提供答案的高度可信度和可追溯性。经过测试，该大模型能在一两秒内快速检索百万级数据，准确率高达95%。

香港中文大学外科学系神经外科组主任、名誉临床副教授陈达明医生，北京协和医院神经外科主任医师冯铭教授，首都医科大学附属北京同仁医院神经外科主任康军教授出席发布会。会上，陈达明医生与冯铭教授共同现场演示了CARES Copilot 1.0，全面展示了其功能和实际应用价值。

目前，CARES Copilot 1.0已在多家医院的不同科室进行了实地测试和优化，充分验证了其作为手术智能辅助工具全面、先进、可靠的基础功能和关键技术，下一步将持续推动医疗智能化的实现，为智能健康产业的进步提供强有力的技术支持。

中国科学院香港创新研究院是中国科学院在港设立的首个国家级新型研发机构。2019年在港正式注册，下设两个创新中心。其中，人工智能与机器人创新中心依托中国科学院自动化研究所建设，围绕新一代人工智能基础理论、面向健康的智能技术、新型人机交互技术与设备、人工智能开放平台技术等开展国际前沿研究工作。



图1. 刘宏斌研究员介绍CARES Copilot 1.0



图2. CARES Copilot 1.0系统界面



图3. CARES Copilot 1.0在医院实地应用



图4. 冯铭教授、康军教授、刘宏斌研究员及陈达明医生（从左至右）合影