3月28日,萬仞智慧智能科技(北京)有限公司(下稱“萬仞AI”)通過官方公眾號宣布,基于自研大模型平臺,正式發布全球首個8模態醫療大模型——董奉大模型。
萬仞AI方面介紹,董奉大模型的名字源自“建安三神醫”之一的董奉,與華佗、張仲景齊名,并開創了“杏林文化”。
據悉,董奉大模型面向患者、醫護人員及醫院管理人員,提供包括在線健康助理、智能分診預診、初級醫護指引、病歷校驗質檢、醫生工作助理、診后隨訪助理、專家實時分身會診以及醫療績效考核、控費管理等覆蓋全病程的大模型應用。實現支持語音(如實時語音對話)、文字(如病歷/處方/報告)、圖像(如醫療影像/手機照片/病理學圖片)、視頻(如實時分身/自錄視頻/內鏡/患者教育)、情感(如語氣/情緒/行為)、結構化數據(如檢驗/診斷/醫學KG)、電信號(如腦波/脈象/肌電)及生物信息(如基因數據)共計8個模態的輸入與輸出。
官方表示,萬仞AI已與吉林大學、實在智能、威能思軟等機構達成戰略合作,搭建了AI科技研究基地和產研合作中心,并已定向在某省人民醫院(三甲)、某省人民醫院分院(二甲)和某市級互聯網醫院平臺等完成落地。
去年5月,自動駕駛公司Momenta產品與工程副總裁王榮興離職的消息傳出,6月王榮興便創立了萬仞AI,并引入前IBM大中華區Watson醫療落地總監張軼倫作為合伙人。10月,萬仞AI獲得了由銀瓴投資領投的數千萬元種子輪投資。官方介紹,萬仞AI的企業戰略介于通用大模型與專屬定制之間,提供貼合我國國情的私有化、小型化、自動化與定制化的企業級大模型解決方案。除醫療行業外,未來還將拓展康養、金融、汽車、農業、零售等行業。
萬仞AI展示了董奉大模型的幾項能力:
首先是“實時多模態分身”能力,能夠為醫療機構、互聯網醫院服務機構提供實時多模態分身,并適配立式大屏、平板小屏以及個人手機等各類硬件。萬仞AI介紹,基于董奉大模型,能以實時視頻溝通的形式與用戶持續進行個性化對話,而非預設腳本的循環錄播,從而形成在線健康助理、智能分診預診、診后隨訪助理以及專家實時分身會診等線上線下醫療場景的交互入口。
二是在線問診的能力,利用多模態能力,有效采集患者全病程中的最新癥狀、治療執行、不良反應、情緒等全方位數據,從而對患者病情、依從性等進行解讀和預測,給出就診建議。同時,董奉大模型通過“醫生工作助理”、“隨訪機器人”等工具,面向醫生及患者,實現從診療到康復的全程助理服務。
此外,在醫院管理層面,董奉大模型能為醫護群體提供“初級醫護指引”、“病例校驗質檢”等應用,幫助醫護人員減輕負擔,并為醫院管理體系提供“國家醫療績效考核”“方案綜合費用控制”等定制功能,助力醫院管理。
根據萬仞AI展示的董奉大模型與ChatGPT的簡單對比,在問診方面,ChatGPT提供了更多的可能性和建議,并引導用戶提供更多信息,相對來說,董奉大模型的問診過程體現出一定的針對性。
而在“國考”問題的反饋上,董奉大模型表現出了十足的本土化,遵照《國家三級公立醫院績效考核操作手冊》給出答案,ChatGPT在這一方面則有所欠缺。
不過,此次萬仞AI并未公布董奉大模型的參數規模、預訓練語料等相關數據,截至發稿,董奉大模型的體驗入口也尚未公布。
注:文章來源于網絡,如有侵權,請聯系刪除