像人的大模型

*本文采用豆包生成了13張圖片，特此聲明

大模型非常像人

大模型的訓(xùn)練速度取決于數(shù)據(jù)中心的硬件配置，人的學(xué)習(xí)速度取決于出生時的硬件配置

推理大模型的速度主要取決于顯存和算力，人的聰明程度主要取決于記憶力和智商

大模型的生成質(zhì)量主要取決于精確度和上下文長度，人的生成質(zhì)量（臨場反應(yīng)水平）主要取決于記憶檢索速度和大腦緩存大小

在硬件配置接近的情況下，大模型的聰明程度取決于訓(xùn)練的參數(shù)量和訓(xùn)練的方式方法，在先天智商和教育條件接近的情況下，人所能達到的高度取決于培養(yǎng)的環(huán)境和教育的方式方法

大模型就像一本百科全書，越大的模型，就像是越厚的書。最優(yōu)秀的大模型，相當(dāng)于《大英百科全書》或者《四庫全書》，最優(yōu)秀的小模型，相當(dāng)于《赤腳醫(yī)生手冊》、《民兵軍事訓(xùn)練手冊》、《軍地兩用人才之友》，而MoE模型，相當(dāng)于有很多冊的《十萬個為什么》，要用的時候一次翻一冊或者幾冊就行

并不是模型越大越好，聰明的人應(yīng)該學(xué)會使用正確的書高效完成任務(wù)，而不是追求書的大小，查一個常用字的常用釋義搬出一本辭海，是愚蠢的行為

大模型的訓(xùn)練就像人的學(xué)習(xí)，訓(xùn)練大模型得有老法師，訓(xùn)練人得有好老師，老師并不局限于學(xué)校里的老師，而是像孔夫子說的“三人行，必有我?guī)煛?/p>

對于大模型訓(xùn)練來說，工程量最大的是原始數(shù)據(jù)的獲取和清洗，對于人學(xué)習(xí)來說，工程量最大的是知識積累和辯證思考，毛主席說過，方向錯了，知識越多越反動

大模型訓(xùn)練成型之后，參數(shù)量越大，越難大改，人三觀成型之后，年齡越大，越難被說服

大模型的核心組件是Attention，人學(xué)習(xí)效果好壞的核心是專注

大模型在達到一定參數(shù)量之后會出現(xiàn)涌現(xiàn)效應(yīng)，人在學(xué)習(xí)到足夠多的知識之后會舉一反三。但是一部分人會學(xué)會深度思考，而大模型暫時不會

大模型告訴我們一個道理，世界的萬事萬物，底層都是相通的

平時說不明白話，跟人溝通困難的人，同樣寫不明白提示詞，用不明白大模型

最后，沉痛悼念武漢大學(xué)老校長，教育家劉道玉先生

作者：鐵云

歡迎關(guān)注鐵云文摘