辞不受。会传闽遣大学士黄鸣骏来,尽科浙中八府之粮;而闽中故无是举,士英、大铖交构之也。已谍言大清兵将自海道来,乃移守沥海;时饷终无所得,疏言:「臣师二千,既无分地,势须遣散。但臣以举义而来,大仇未复,终不敢归安庐墓。散兵之日,愿率家丁数人从军自效。济则君之灵也,不济则以死继之」!王温旨慰留。而诸将益蜚语,谓将弃军逃闽。先是,闽颁诏入浙,并赐倡义诸臣敕命,加官爵,肃乐奉表谢;遂为群小口实,甚且有遣客刺取其首者。于是拜表弃军以行;言「臣从今披发入山,永与世辞。主上请加■〈车从〉迹,断不入闽以遭殄灭」!遂之温州避人。王得疏大骇;知不可留,降旨令往海上同藩臣黄斌卿、镇臣张名振共取道崇明以复三吴。加吏部尚书兼理户部事;辞之。是为丙戌五月。不三旬而江上破。
肃乐之解兵也,闽使召之;以江上之嫌不赴。及江上破,由海道入闽,请急提兵出关;不可。退入广东,疏陈越中十弊为戒;唐王优诏答之,以右副都御史召。即疏言故大学士孙嘉绩之忠,请恤典。未几,闽中破,与诸弟避至福清,展转文石、海坛之间,米不可得,食麦;麦不可得,食薯;薯亦不可得,则采其枯者屑之,拾青茆作薪。尝夜涉绝谷,足尽裂,极所艰苦。
明年(丁亥),闻郑彩扈监国至鹭门,来往诸岛禡牙举事;六月,驻琅江。肃乐入觐,监国大喜。时从亡诸臣之在侧者,熊汝霖、马思理、孙延龄。思理位汝霖上,同直阁;延龄即嘉绩子,年尚少。彩自署兵部;及肃乐至,推以自代。肃乐泣陈无功,请以侍郎行部事;不许。因疏言:「兵部之设,所以统理群帅,归其权于朝廷。今虽未能尽复旧制,然当申明约束,使臣得行其法不相凌辱,可乎?国家多难,大帅往往揜败为功,以致日坏;江干王之仁报捷诸书,其余习也。臣愿海上诸臣持「勿欺」二字以事主上,可乎?臣在化南,有感臣忠义、愿携赀来投者,有愿夺降臣家财以充饷者,聚之可数百人;臣亦不敢私以自卫。藩臣入关,当驱臣为先锋。但愿诸将稍存部臣体统,一切争兵并船不相加遗,以为朝廷羞,可乎?叙功之举,往往及官而不及兵,谁肯致死?臣请凡兵有能获级、夺马者,竟授守、把等官,可乎」?又言:「近奉明旨,江上之师病在不归于一。今宜以建国公彩为元戎,登坛锡命。平夷、闽安、荡湖诸镇,此建国之左右手;令其选择偏裨,或为先锋、或为殿后,合而为一,弗令异同,如邺下九节度之师。其次则编定什伍,弗令杂然而进、杂然而退,孟浪以战」。并得旨允行。又疏言:「主上允臣前疏,委任建国,则兵出于一矣。复命建国合挑各营之兵,选其健者。请自今以往,一切封拜暂行停止;特悬一印,令于众曰:「有能为建国所挑之兵为先锋立功者,不论守、把等官,竟与挂印」。如此,则奇杰之人至矣。或谓各藩私兵安肯令挑,即令各藩自挑敢死善战之士各为一营,各悬一印,令曰:「有能将本营所挑之兵立功者,竟与挂印」。可耶、否耶」?王以为然。于是兵威顿振,连下兴化、福清、连江、长乐、罗源三十余城。侍郎林汝翥、都御史林垐皆起兵;郭天才以所部援闽,亦来降。遂围福州,而浙东诸山寨亦遥应之。前此六狂生之家居者,谋取宁、绍、台各郡,与肃乐约为犄角势,复为降绅谢三宾所告而死。故太仆卿刘沂春初仕苕中,既而还闽;广东粮道吴钟峦素行忠直:时皆隐遯.乃疏乞特敕召用;得旨:以沂春为右副都御史、钟峦通政使。二人犹不起,肃乐复贻以书曰:「时平则高洗耳、世乱则美搴裳;司徒女子犹知君父,东海妇人尚切报仇。嗟乎!公等忍负斯言」!二人始翻然就道。由是,闽中遗臣无不出矣。福州之败,请恤宗臣统■〈金睿〉、诸将叶仪等。王之初至闽也,招讨郑成功修浙中颁诏之怨,待以寄公礼而不称臣;仍称隆武三年。至是,奏颁明年戊子监国三年历,海上遂有二朔。肃乐尝与成功书,奖其忠义、勉以恢复,故成功不为忤;监国始媿叹,知前此江上之谤非有贰也。
戊子,王次闽安,肃乐请立史官纪事。寻晋东阁大学士兼吏部尚书,四疏力辞,不许;乃与马思理、林正亨同入直。时郑彩恣横,连害熊、郑,逆节大着。肃乐每日系艍于驾舟之次,票拟章奏,即其中接见宾客;封进后,则牵船别去,匡坐读书。彩初与肃乐颇相睦,自汝霖死,并疑之。先是,唐王殁,其将总兵官涂登华尚守福宁。督辅刘中藻时起兵福安,移兵攻之。城将破,登华欲降未决,谓人曰:「岂有海上天子、舟中国公」!肃乐晓之以书曰:「将军独不闻南宋之末,二帝并在海上,文、陆并在舟中,后世卒以正统归之?而况不为宋末者乎!今将军死守孤城,以言乎守义,力已尽也;以言乎保身,策未善也。据沸鼎以称安、巢危林而自得,何计之左耶」!登华遂诣郑彩降。
彩使私人守之;中藻愠不可,彩翻掠其地。肃乐与中藻书不直彩;彩使人刺得之,恨甚,以为树外援图己。朝见之次,辄故诵书中语;肃乐向有血疾,至是忧愤交至。而彩自知为诸藩同列者所恶,遂不复协力,逍遥海上;连江失守。肃乐闻之,以头触枕祈死;血疾大动,因绝粒。监国赐药,亦不肯进。六月五日,卒于琅江;年四十三。讣闻,监国震悼,