绍兴十一年（1141年）八月，由于秦桧、张俊、万俟卨等人的一再唆使，岳飞就自请回到江州庐山旧居赋闲等候朝廷的处理。在这段时间里，他游览了周边的名山大川，在游览安徽时，写下了《题池州翠光寺》表达自己的心情：

爱此倚栏杆，谁同寓目闲。

轻阴弄晴日，秀色隐空山。

岛树萧疏外，征帆杳霭间。

予虽江上老，心羡白云还。

“征帆杳霭间”“心羡白云还”这些话语，表达出岳飞还想重新披挂上场、奋力杀敌的英雄情怀。

秦桧、张俊等人看到右谏议大夫万俟禼弹劾岳飞大罪的奏章没有起到什么效果，非常着急。

右谏议大夫万俟禼就叫来他的部属御史中丞何铸、殿中侍御史罗汝楫，和他们一起商量对策。

何铸，字伯寿，浙江余杭人。政和五年进士，历官州县。入为诸王宫大小学教授，现在官职为御史中丞。

罗汝楫，字彦济，徽州歙县人。政和二年进士，为郴州教授，现任职务为殿中侍御史。

万俟禼对他们说道：“你们作为言谏官，知道朝廷最近的核心大事是什么呢？”

何铸、罗汝楫回答道：“当然是议和这件事”。

万俟卨问道：“进展得怎么样了呢？”

何铸、罗汝楫回答道：“听说比较顺利，只是还有一些武将持有不同意见。万俟公不是已经弹劾他们了吗？”

万俟卨恼怒地说道：“你们和我都身为谏官，却不能替皇上和秦公分忧解难，那要你们干什么？你们今天的荣耀和地位，难道不是圣上和秦公给你们的吗？还想不想继续干了？！”

何铸、罗汝楫为了保住自己的职位，于是轮番上疏弹劾岳飞，大体内容是说：“岳飞接到朝廷圣旨后应当起兵迎敌，可是他才到了龙舒附近就畏惧敌人，不再前进了；他作为一名将帅，奉命出使防守，可是他本人竟然鼓动属下放弃山阳，不要防守，向后撤退。按照岳飞平日以往的性格，不应该至于这样吧。难道是他现在不想再忠于皇上了吗？

自从他离开部队兵权位置，荣登枢筦职位以来，他不但没有感到高兴，反而郁郁不乐，每天想着引去避位。他曾经对别人说：‘此等鸡肋官职，多年以前朝廷执政就想任命我为此职务，我都不愿意来呢。谁稀罕这样的破烂职务呢！’他如此妄自尊大，略无忌惮，简直目无朝廷。尤其是他最近公开蛊惑军心，竟然说山阳城不可防守，军民摇惑，军心涣散了。后来他的话传开之后，由于士卒没有斗志，确实几乎失去了山阳。如果真的失去山阳的话，虽然把岳飞斩首了，有什么益处呢！希望朝廷快速赐给他处分，让他外出去闲祠放养，把对他的处罚作为不忠之臣的警戒。”