沒想到,蘋果也做蛋白質(zhì)模型了!
近日,蘋果發(fā)布了一個基于流匹配的蛋白質(zhì)折疊模型SimpleFold,不使用以往蛋白質(zhì)折疊模型的多序列比對、三角更新,大大簡化了模型復(fù)雜性。
SimpleFold如同一個輕量級的AlphaFold2,不僅能夠達(dá)到AlphaFold2超90%的性能,同時將算力成本下降90%,甚至筆記本也能跑!
蘋果稱:蛋白質(zhì)折疊比你想象的更簡單!
開源地址:github.com/apple/ml-simplefold
基于流匹配模型,Macbook也能跑
谷歌DeepMind開發(fā)的AlphaFold2堪稱奇跡,解決了近50年來的蛋白質(zhì)折疊計算問題,這一成果獲得了2024年諾貝爾化學(xué)獎。
然而,AlphaFold2的計算成本非常高,對于設(shè)備要求嚴(yán)格。
考慮到這一點,蘋果研究人員開始開發(fā)一種替代方法,利用人工智能預(yù)測蛋白質(zhì)的 3D 結(jié)構(gòu),也能夠大幅度降低成本。
在其提出的模型中,蘋果不依賴于“MSA、成對交互圖、三角形注意力或任何其他等變幾何模塊”,而是提出了流匹配架構(gòu)(Flow Matching)。
流匹配架構(gòu)于2023年推出,并已被證明在文本到圖像和文本到3D模型中非常流行。
相較于Alphafold2使用的端到端 Transformer架構(gòu),流匹配在采樣速度上具有天然優(yōu)勢,只需少量ODE 步即可完成生成,這種方法跳過了許多去噪步驟,因此計算成本較低,并且生成結(jié)果的速度更快。
與 AlphaFold2 相比,SimpleFold 基本上放棄了兩個復(fù)雜架構(gòu)。第一個,是用標(biāo)準(zhǔn)注意力塊替換不變點注意力(IPA) 塊。
第二個,也許更徹底的簡化是 SimpleFold 放棄了MSA(多序列對比)。這意味著標(biāo)記之間的所有比較都必須僅使用注意力來完成。從架構(gòu)上講,這是一個很大的讓步。然而,刪除MSA處理帶來了巨大的好處,因為可以非常有效地計算標(biāo)準(zhǔn)注意力。
研究人員訓(xùn)練了從100M、360M、700M、1.1B、1.6B和3B等不同參數(shù)的版本,并在CAMEO22 和 CASP14上對它們進(jìn)行了評估,包括對折疊模型的泛化、魯棒性和原子級準(zhǔn)確性的嚴(yán)格測試。
雖然模型簡單,但與基線相比,SimpleFold實現(xiàn)了非常突出的性能。在這兩個基準(zhǔn)測試中,SimpleFold 始終表現(xiàn)出優(yōu)于 ESMFlow 的性能,ESMFold也是一個使用 ESM 嵌入構(gòu)建的流匹配模型。
在通用折疊基準(zhǔn)CAMEO22上,SimpleFold 展示了與最佳折疊模型(例如ESMFold、RoseTTAFold2 和 AlphaFold2)相當(dāng)?shù)慕Y(jié)果。
在大多數(shù)指標(biāo)上 ,SimpleFold實現(xiàn)了RoseTTAFold2/AlphaFold2超95%的性能,而無需應(yīng)用昂貴的啟發(fā)式三角注意力和 MSA。
算力成本的降低使得該模型效率極高,在配備 M2 Max 芯片的 MacBook Pro 上,它能將處理 512 殘基序列的推理時間從傳統(tǒng)模型的小時級縮短至僅兩三分鐘。
此外,蘋果研究人員還發(fā)現(xiàn)了該模型遵循Scaling Low(規(guī)模定律),這意味著模型擁有更多訓(xùn)練數(shù)據(jù),訓(xùn)練更大模型能夠可靠地提供更好的折疊性能。
最后,蘋果研究人員指出,SimpleFold 只是第一步,并表示他們“希望它成為社區(qū)構(gòu)建高效而強(qiáng)大的蛋白質(zhì)生成模型的倡議。
蘋果,猛攻AI健康
大模型時代,蘋果被認(rèn)為是行業(yè)的落后者。
在谷歌、Meta、OpenAI和微軟拼盡全力布局大模型時,蘋果卻因為內(nèi)部決策和保守的傾向,并沒有拿出在AI領(lǐng)域的亮眼成果。就連iphone已經(jīng)承諾的AI全面升級,也一拖再拖。
如今,蘋果正在積極調(diào)整策略,希望迎頭跟上AI浪潮,醫(yī)療領(lǐng)域就是其重要一環(huán)。
庫克曾多次表示:“希望未來人們回首往事時會說,蘋果對世界最大的貢獻(xiàn)是醫(yī)療保健。”
當(dāng)前,蘋果的戰(zhàn)略重心仍然是圍繞其硬件針對AI醫(yī)療進(jìn)行布局。
最早可以追溯到2018年:Apple Watch Series4通過FDA認(rèn)證,成為首款支持ECG心電圖功能的消費(fèi)級設(shè)備。
今年上半年,彭博社發(fā)文稱,蘋果公司正在內(nèi)部推進(jìn)一項代號為“Project Mulberry”的AI醫(yī)療計劃,預(yù)計是其迄今為止在醫(yī)療領(lǐng)域的最大動作。
據(jù)悉,該項目由蘋果健康團(tuán)隊負(fù)責(zé)人Sumbul Desai博士主導(dǎo),首席運(yùn)營官Jeff Williams深度參與,最早將在2026年隨iOS19推出。
簡單而言,該項目預(yù)備把 Health 應(yīng)用升級為具備“AI 醫(yī)生”功能的健康教練,實現(xiàn)從數(shù)據(jù)采集到個性化干預(yù)的閉環(huán)。
預(yù)計上線之后,AI虛擬醫(yī)生可讀取 iPhone、Apple?Watch、AirPods 等設(shè)備的健康數(shù)據(jù),生成個性化健康建議、運(yùn)動方案、營養(yǎng)指導(dǎo)等。
蘋果手表目前已經(jīng)支持心臟、呼吸、月經(jīng)周期、睡眠、運(yùn)動健身、心理等多種健康功能。
而在今年的蘋果新品發(fā)布會上,也宣布了無線耳機(jī)AirPods Pro2的“助聽功能”、Apple Watch的“睡眠呼吸暫停功能”等醫(yī)療方向的嘗試。
除了醫(yī)療器械之外,Vision Pro醫(yī)療手術(shù)應(yīng)用場景的拓展也能看到蘋果正逐漸走向醫(yī)療服務(wù)的深水區(qū)。
此外,蘋果最新發(fā)布的 Apple Watch Series 11帶來了一項全新的健康功能:可通過分析用戶的血管數(shù)據(jù),評估高血壓的風(fēng)險并及時提醒。
2019年,蘋果為開發(fā)高血壓風(fēng)險評估算法,首先開展了一項納入10萬名參與者的研究,利用其Apple Watch數(shù)據(jù)與傳統(tǒng)血壓測量值進(jìn)行機(jī)器學(xué)習(xí)建模;進(jìn)而又通過一項針對2000人的專項研究對該算法進(jìn)行了驗證。
蘋果表示,這項功能已經(jīng)獲得美國食品藥品監(jiān)督管理局(FDA)的批準(zhǔn)。它并不能直接給出血壓數(shù)值,而是當(dāng)檢測到潛在風(fēng)險時,會提醒用戶使用傳統(tǒng)血壓計確認(rèn),并建議咨詢醫(yī)生。
通過將AI深度集成到其硬件生態(tài)和用戶日常健康管理中,蘋果正嘗試開辟一條不同于其他科技巨頭的AI落地路徑。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.