始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)。正在，歡迎加入共同成長(zhǎng)。wisemodel社區(qū)上線(xiàn)，價(jià)格實(shí)惠，靈活方便，支持在線(xiàn)微調(diào)訓(xùn)練模型，及和，并。

近年來(lái)，越來(lái)越多的工業(yè)設(shè)備被安裝上傳感器以監(jiān)控工作狀態(tài)。然而安裝傳感器容易，如何高效分析工業(yè)信號(hào)卻很難，因?yàn)椴煌瑐鞲衅鞑杉墓I(yè)信號(hào)具有極大的異質(zhì)性。本文中，我們將其總結(jié)為M5問(wèn)題：多模態(tài)、多采樣率、多尺度、多任務(wù)和少故障。

受到M5問(wèn)題影響，現(xiàn)有方法大多只分析小范圍的工業(yè)信號(hào)，例如基于振動(dòng)的軸承故障診斷，所采用的模型也均為在小數(shù)據(jù)集上訓(xùn)練的小模型。然而這些模型未能發(fā)掘大數(shù)據(jù)訓(xùn)練的優(yōu)勢(shì)，也未能利用不同模態(tài)之間的互補(bǔ)性。另一方面，對(duì)于工業(yè)運(yùn)維的每個(gè)子問(wèn)題，都需要單獨(dú)開(kāi)發(fā)和部署專(zhuān)門(mén)的模型，大大增加了實(shí)際應(yīng)用的復(fù)雜度

盡管工業(yè)信號(hào)在表面上差異顯著，但其內(nèi)在特征和語(yǔ)義信息卻存在諸多相似之處：從語(yǔ)義信息來(lái)看，這些信號(hào)都反映著相同的健康狀態(tài)；就產(chǎn)生機(jī)理而言，像聲音（源于鼓膜震動(dòng)）與振動(dòng)這類(lèi)信號(hào)實(shí)則同根同源；在分析手段上，基本都采用譜分析方法；而故障模式方面，由于設(shè)備均由零件構(gòu)成，不同設(shè)備之間具有一定的借鑒性；此外，在任務(wù)特征上也存在共享性，即一個(gè)特征向量能夠表征多個(gè)健康管理任務(wù)。

基于此，我們認(rèn)為是可以使用單一模型對(duì)異質(zhì)工業(yè)信號(hào)進(jìn)行統(tǒng)一建模的。由于信號(hào)內(nèi)部存在相似性，通過(guò)scaling，可以讓模型逐漸學(xué)會(huì)這些相似性，進(jìn)而迸發(fā)出更為強(qiáng)大的表征能力，實(shí)現(xiàn)里程碑式提升。

由此，來(lái)自清華大學(xué)、上海交通大學(xué)、北京華控智加科技有限公司和華北電力大學(xué)的研究者聯(lián)合發(fā)布首個(gè)多模態(tài)工業(yè)信號(hào)基座模型FISHER，采用搭積木的方法對(duì)異質(zhì)工業(yè)信號(hào)進(jìn)行統(tǒng)一建模。已上線(xiàn)始智AI-wisemodel開(kāi)源社區(qū)，歡迎大家前去體驗(yàn)。

模型地址

https://wisemodel.cn/models/jiangab/FISHER-tiny-0723

https://wisemodel.cn/models/jiangab/FISHER-mini-0723

https://wisemodel.cn/models/jiangab/FISHER-small-0723

01.

模型能力

FISHER模型是首個(gè)面向多模態(tài)工業(yè)信號(hào)的基座模型。它以子帶為建模單元，通過(guò)堆積木的方式表征整段信號(hào)，可處理任意采樣率的工業(yè)信號(hào)。詳細(xì)介紹如下：

子帶建模

譜分析是語(yǔ)音和信號(hào)分析常用的手段。與語(yǔ)音模型常采用的Mel譜不同的是，F(xiàn)ISHER采用短時(shí)傅里葉變換（STFT）作為信號(hào)輸入特征，這是由于1）故障分量往往出現(xiàn)在高頻 2）對(duì)于旋轉(zhuǎn)類(lèi)機(jī)械，倍頻關(guān)系往往很重要。為保證不同采樣率下時(shí)頻分辨率相同，F(xiàn)ISHER中的STFT采用固定時(shí)長(zhǎng)的窗長(zhǎng)和幀移。

當(dāng)數(shù)據(jù)量增大時(shí)，多采樣率是模型必須要應(yīng)對(duì)的問(wèn)題。之前方法將信號(hào)全部重采樣至固定采樣率（例如16 kHz），從而丟失了關(guān)鍵的高頻信息，特別是對(duì)于44.1 kHz及以上的高帶寬信號(hào)。在FISHER中，我們不再進(jìn)行重采樣，而是利用信號(hào)在不同采樣率下的特點(diǎn)進(jìn)行建模。如下圖所示，對(duì)同一信號(hào)源使用不同采樣率進(jìn)行觀(guān)測(cè)時(shí)，共有頻帶基本一致，而高采樣率會(huì)有額外的高頻子帶，也就是說(shuō)高采樣率的增益來(lái)源于更多子帶信息。而另一方面，工業(yè)信號(hào)常見(jiàn)的采樣率有16 kHz，32 kHz，44.1 kHz和48 kHz，這些采樣率近似存在公約數(shù)（如2 kHz和4 kHz），故STFT譜可視作多個(gè)固定寬度子帶的拼接。

因此FISHER采用固定寬度的子帶作為建模單元，將子帶信息用搭積木的方式拼接成整段信號(hào)的表征。具體而言，STFT譜被切分為固定寬度的子帶，每個(gè)子帶被模型單獨(dú)處理。最終的信號(hào)表征是每個(gè)子帶表征的拼接。

模型架構(gòu)

FISHER包括1個(gè)ViT Encoder和1個(gè)CNN Decoder，采用“老師-學(xué)生”自蒸餾預(yù)訓(xùn)練。具體而言，老師Encoder是學(xué)生Encoder的指數(shù)滑動(dòng)平均（EMA），僅學(xué)生Encoder和學(xué)生Decoder具有梯度。切分后的子帶的80%被mask，未被mask的20%送入學(xué)生Encoder，處理后再與被mask部分按原位置拼接，送入學(xué)生Decoder。老師Encoder則輸入整個(gè)子帶，輸出則作為蒸餾的目標(biāo)。自蒸餾過(guò)程分別在[CLS]層次和patch層次進(jìn)行監(jiān)督。預(yù)訓(xùn)練結(jié)束后，僅保留學(xué)生Encoder用于后續(xù)評(píng)估。

我們目前開(kāi)源了FISHER的3個(gè)不同尺寸：tiny（5.5M），mini（10M）和small（22M）。所有模型均在1.7萬(wàn)小時(shí)的混合數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。

RMIS基準(zhǔn)介紹

為評(píng)估模型在各種健康管理任務(wù)上的性能，我們提出了RMIS基準(zhǔn)。RMIS基準(zhǔn)包含5個(gè)異常檢測(cè)數(shù)據(jù)集和13個(gè)故障診斷數(shù)據(jù)集，涵蓋4個(gè)模態(tài)。這里異常檢測(cè)為正常/異常 2分類(lèi)問(wèn)題，但訓(xùn)練集不包含異常；故障診斷為多分類(lèi)問(wèn)題，訓(xùn)練集和測(cè)試集均包含所有類(lèi)別。為檢驗(yàn)?zāi)Ｐ凸逃械男阅埽Ｐ驮谒袛?shù)據(jù)集上均使用相同的KNN配置進(jìn)行推斷，不進(jìn)行微調(diào)。

02.

實(shí)驗(yàn)結(jié)果

我們先在RMIS基準(zhǔn)上對(duì)常見(jiàn)預(yù)訓(xùn)練模型進(jìn)行篩選，然后采用5個(gè)最好的模型作為基線(xiàn)，涵蓋了5M到1.2B的多個(gè)尺寸。由于語(yǔ)音模型的效果普遍偏差，故我們并未對(duì)比。

基準(zhǔn)得分

在RMIS基準(zhǔn)上，F(xiàn)ISHER的3個(gè)版本分別較基線(xiàn)至少提升了3.91%，4.34%和5.03%，展現(xiàn)出強(qiáng)大的泛化能力。按任務(wù)分析，在異常檢測(cè)任務(wù)上，F(xiàn)ISHER僅略低于BEATs；而在故障診斷任務(wù)上，F(xiàn)ISHER大幅超過(guò)BEATs在內(nèi)的所有基線(xiàn)，這主要得益于FISHER能利用完整的頻帶，而基線(xiàn)模型只能利用到16 kHz。此外，目前開(kāi)源的FISHER模型最大也只有22M，遠(yuǎn)小于基線(xiàn)常見(jiàn)的90M。

Scaling 效果

上圖對(duì)比了各個(gè)模型的RMIS得分隨模型大小變化的曲線(xiàn)。可以看到FISHER的曲線(xiàn)遠(yuǎn)高于基線(xiàn)系統(tǒng)的曲線(xiàn)，即使是最小的FISHER-tiny也能超過(guò)所有基線(xiàn)系統(tǒng)。這說(shuō)明FISHER的預(yù)訓(xùn)練模式更優(yōu)越，scaling更有效。

另一方面，我們觀(guān)察到100M 似乎是scaling 曲線(xiàn)的分界點(diǎn)。我們猜測(cè)這是由于工業(yè)信號(hào)重復(fù)度較高，現(xiàn)有大規(guī)模數(shù)據(jù)集中的工業(yè)信號(hào)去重后至多支持100M 模型的訓(xùn)練。因此訓(xùn)練信號(hào)基座模型時(shí)，數(shù)據(jù)的配比需要增大，數(shù)據(jù)清洗將是scaling up的關(guān)鍵。此外，考慮到FISHER的成功，Test-Time Scaling 似乎也是可行的方向。

變切分比

對(duì)于12個(gè)不提供官方切分的數(shù)據(jù)集，我們首先繪制了模型在變切分比場(chǎng)景下的工作曲線(xiàn)，然后估計(jì)了曲線(xiàn)下面積。如上表所示，F(xiàn)ISHER具有最大的曲線(xiàn)下面積，說(shuō)明其在變切分比場(chǎng)景下依舊具有卓越的性能。

----- END -----

wisemodel相關(guān)：

系統(tǒng)升級(jí)：

系列活動(dòng)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶(hù)的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開(kāi)源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線(xiàn)以來(lái)，逐漸成為影響力日益擴(kuò)大的中立開(kāi)放的AI開(kāi)源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開(kāi)發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開(kāi)發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過(guò)添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以?huà)叽a添加wisemodel微信。

4

關(guān)于wisemodel開(kāi)源社區(qū)

始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專(zhuān)委會(huì)副秘書(shū)長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門(mén)、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。

向上滑動(dòng)查看