IT之家 10 月 7 日消息,Meta 發(fā)文,宣布開源一套名為 OpenZL 的無損壓縮框架,目前相應框架源代碼已在 GitHub 上開放(點此訪問)。
據(jù)介紹,該框架設計理念為“先定義清楚數(shù)據(jù)結(jié)構(gòu),再根據(jù)可還原的規(guī)律生成壓縮步驟,最后再執(zhí)行壓縮”。不同文件可以使用不同的壓縮流程,但每個文件都會在壓縮時,將具體的解壓邏輯直接寫入文件中。解壓時,通過一個通用解壓縮器(Universal Decoder)讀取文件中包含的流程并按步驟執(zhí)行即可恢復原始數(shù)據(jù),無需安裝額外插件或協(xié)調(diào)不同工具。
Meta 研究人員以 Silesia 數(shù)據(jù)集的 sao 文件作為樣本,在蘋果 M1 CPU 與 clang-17 環(huán)境下進行測試,其中顯示 OpenZL 的壓縮后文件大小為 3516649 B,壓縮比 2.06,壓縮速度約 340 MB/s,解壓速度約 100 MB/s。
相比之下,zstd-3 壓縮后為 5,531,935 B(壓縮比 1.31),速度分別為 220 MB/s 與 850 MB/s;而 xz-9 則為 4414351 B(壓縮比 1.64),壓縮速度僅 3.5 MB/s,解壓速度 45 MB/s。結(jié)果顯示,在結(jié)構(gòu)明確的數(shù)據(jù)場景中,OpenZL 能在保持高壓縮比的同時進一步提升處理速度。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.