1954年，高饒事件后，隨著東北局召開高干會議，張秀山、張明遠(yuǎn)等5人被人扣上“五虎上將”。職務(wù)和級別都遭到斷崖式降職降級。

張秀山被調(diào)去盤錦農(nóng)場副場長，張明遠(yuǎn)調(diào)任中科院辦公廳副主任，趙德尊調(diào)任藥廠副廠長，郭峰和馬洪也分別擔(dān)任其他工廠職務(wù)。

自1952年，東北局第一書記調(diào)任中央工作，但依然兼任東北局一把手，上級增加林楓為第一副書記，張秀山為第二副書記，張明遠(yuǎn)為第三書記。

這一年，地方干部實行行政等級，為接下來的薪金制準(zhǔn)備。張秀山作為東北局第三號領(lǐng)導(dǎo)定為行政4級，張明遠(yuǎn)定為行政5級。行政4級可是不低的職務(wù)，與軍隊大將一樣，行政5級也不低與正兵團級上將對應(yīng)。

張秀山是陜北干部出身，與第一書記在一起工作長達(dá)二十多年，所謂“五虎”中也只有他與第一書記工作時間最長，從陜北紅軍到抗戰(zhàn)時期的西北局，解放戰(zhàn)爭時期的東北局。其他人解放戰(zhàn)爭時根本不在東北局任職，只是在東北擔(dān)任地方職務(wù)，其他四人都是解放后陸續(xù)調(diào)任東北局工作。

該事件發(fā)生于1953年，揭露于1954年，到1955年出來完畢，對他們5人的處理結(jié)論，沒有具體事實，沒有組織審查，沒有組織談話，沒有聽取申述，只有一個東北局的報告。此后，東北局改組林楓擔(dān)任書記，張秀山撤職，行政4級改為8級，到盤錦農(nóng)場擔(dān)任副場長。

到盤錦農(nóng)場上任時，上級給他配備一輛汽車使用，而他把車交給農(nóng)場集體使用。雖然是行政8級可對應(yīng)軍隊級別也不低，屬于正軍級。在盤錦農(nóng)場工作一段時間后，農(nóng)場改為農(nóng)墾局擔(dān)任副局長。

原本作為4級的高級干部，每月可以拿到四百多工資，改為八級后只能拿到二百多。放在一般家庭也都是高收入，可家里的人太多，母親加愛人以及子女等要供養(yǎng)十四五口人，而且居住的房子只有兩間，根本不夠住。王震曾去農(nóng)場視察過，把情況反饋給中央，為解決他的生活問題，額外每月補助120元。這樣一來，他的待遇與過去差不多。

他在基層一干就是二十多年，沒有怎么提拔，直到1979年上級對高饒事件復(fù)查后，受到牽連的干部紛紛復(fù)出，重新被安排職務(wù)。張秀山調(diào)任農(nóng)業(yè)委副主任，分管全國林業(yè)、農(nóng)墾、知青等方面工作。1985年從位置上退下來。