1959年9月在北京慶王府的總參辦公室里，一封辭職信讓機關里的人都議論紛紛，張愛萍當時擔任副總參謀長，剛上任不久就把這封信直接交給新任總長羅瑞卿，羅瑞卿才接任三天，看到信后立刻生氣，當面問張愛萍是不是不歡迎自己，張愛萍看到信后，馬上回復說和你沒關系，別多想！

1954年總參擴編之后，副總長共有十一人，張愛萍是其中唯一一個從不遲到早退的干部，其他的人要么在開會時打瞌睡，要么干脆不來參加，他不是不懂那些規(guī)矩，只是做事太過認真，別人應付差事，他卻要把每件事的來龍去脈都搞清楚，結果越是認真就越受排擠，越是想做事情就越被架空。

一九五八年粟裕被批評為教條主義，接著一九五九年黃克誠因為彭德懷的事情也被撤職，總參謀長兩年內換了兩個人，張愛萍夾在中間，兩邊都沒討到好處，他曾經支持過彭德懷反對浮夸風，后來又被要求寫檢討，還得接手人事清洗之后留下的爛攤子，他不是怕承擔責任，而是對這種政治游戲感到厭煩，本來應該抓訓練、管裝備、準備打仗，結果天天開會、寫報告、站隊表態(tài)。

他的辭職并非一時沖動，早在1957年他就提出過這個想法，只是當時被壓下來了，這次他下定了決心，連招呼也不打，直接遞交了辭呈，他知道羅瑞卿剛剛上任，壓力很大，但他更清楚再這樣下去，自己早晚會被體制消磨掉銳氣，他不怕得罪別人，只怕失去軍人的本色，他想要的是實實在在地帶兵打仗，不是坐在辦公室里做個樣子。

羅瑞卿當時確實生氣，后來冷靜下來也明白，張愛萍不是針對他個人，這個人太實在、太較真，放在機關里就顯得很特別，但問題不在張愛萍身上，而在于整個系統(tǒng)，總參那個環(huán)境容不下只想做事、不想站隊的人，所以張愛萍的離開，并不是他個人的失敗，而是體制對技術官僚的一次無聲淘汰。

其實張愛萍這樣的人在那個年代有很多，他們有本領有想法也有血性，可是體制往往最害怕這種人，你做事太認真別人就覺得礙事，你做人太干凈別人認為你不懂規(guī)矩，后來張愛萍去了東海艦隊又研究導彈做出成績，但總參那邊還是老樣子每天準時上班開會不斷卻沒人真正關心實戰(zhàn)。

他離開時沒有哭鬧，也沒有說大話，只是在收拾東西那天，默默看了看辦公桌上的日歷——上面排滿了會議安排，他笑了笑，轉身走了，這不是逃避，而是選擇，他選了一條難走的路，但至少這條路是他自己選的。