1964年，文化部領(lǐng)導(dǎo)班子調(diào)整，原部長茅盾不再擔(dān)任。誰來擔(dān)任部長，上級只好先讓中宣部部長陸定一兼任，并打算從軍隊(duì)調(diào)幾個人來。

文化部雖然管理文藝工作，文人擔(dān)任看似“對口”，實(shí)際上在工作中遇到的問題很多，如方針、政策等，把握不好就會出現(xiàn)問題。上級曾經(jīng)對他說：文化部工作這些年來一直沒搞好，責(zé)任不在你，知道你一開始就不愿當(dāng)這個部長，提到過辭職，因?yàn)闆]有合適的人接替，如今讓你卸下這副擔(dān)子。

誰來擔(dān)任新部長，只能由陸定一兼任。此時的陸定一不僅僅中宣部部長，這一年被選為書記處書記，副總理。如今再兼任部長，身兼數(shù)職。

此時，上級打從部隊(duì)選幾位干部到文化部工作。從部隊(duì)挑選干部到文化部有一個背景。

1964年，上級提出“全國學(xué)習(xí)解放軍”，國家部委機(jī)關(guān)設(shè)立政治部，不少軍隊(duì)干部轉(zhuǎn)入地方，加強(qiáng)地方政治工作領(lǐng)導(dǎo)。

在這樣的號召下，陸定一推薦南京軍區(qū)政委蕭望東到文化部工作。

說到南京軍區(qū)，1963年政委設(shè)置7位，分別是柯慶施、唐亮、江渭清、蕭望東、江華、李葆華、杜平。其中，柯慶施、江渭清、江華、李葆華是掛職，他們都是各省市一把手。專職軍隊(duì)工作只有三人。唐亮此時的身體不好，已經(jīng)不能主持日常工作，1964年離休。在離休前，很多工作由蕭望東處理，杜平兼任政治部主任，職責(zé)在政治部。

在陸定一的建議下，蕭望東調(diào)去文化部擔(dān)任副部長，軍區(qū)正職工作交給杜平負(fù)責(zé)。

蕭望東在戰(zhàn)爭年代長期從事具體政治實(shí)現(xiàn)工作，長期擔(dān)任政治部主任，對如何加強(qiáng)和執(zhí)行是很有經(jīng)驗(yàn)的。上級也說到，完全由當(dāng)兵的人來管文化工作怕也不行，從其他地方調(diào)人過來，讓加強(qiáng)文化部多元化領(lǐng)導(dǎo)。

1965年，蕭望東離開部隊(duì)，到文化部任職；又調(diào)武漢軍區(qū)政治部主任顏金生擔(dān)任文化部副部長兼政治部主任；也從上海調(diào)來石西民擔(dān)任副部長。石西民是文化人出身，擔(dān)任過上海宣傳部部長、市委書記，長期負(fù)責(zé)文化領(lǐng)域工作，這一方面有經(jīng)驗(yàn)。

因?yàn)殛懚ㄒ患媛毢芏?，工作很忙，?fù)責(zé)抓教育、文化、衛(wèi)生等。文化部的很多工作由蕭望東具體負(fù)責(zé)，1966年，蕭望東代理部長。也在這一年受到?jīng)_擊而中斷工作。

1975年，蕭望東才恢復(fù)工作，重返部隊(duì)擔(dān)任濟(jì)南軍區(qū)政委，到1982年退居二線。

對于蕭望東中途受到?jīng)_擊，陸定一晚年再見他時也表達(dá)歉意，如果沒有他的推薦，蕭望東也不會來文化部，導(dǎo)致多年沒有工作。