清兵于1646年攻占绍兴后，陈洪绶整日于乱山之中东躲西藏，这样终究不是办法，于是选择了一个新的身份——在绍兴云门寺剃发为僧，从此改号为“悔僧”“悔迟”“僧悔”等。他为何要用“悔”字为号，清孟远在《陈洪绶传》中有准确的解释：“大兵渡江东，即披剃为僧，更名悔迟，既悔碌碌尘寰致身之不早，而又悔才艺誉名之滋累，即忠孝之思、匡济之怀、交友语言，昔日之皆非也……”既悔在世俗功名中抽身太迟，又悔才艺多能之累。总之，陈洪绶以此来表示对自己以往许多行事的否定态度。
与这个“悔”字相近的，陈洪绶还用“废”字来抒发自己许多不合人伦规范的狂悖行径。一度，陈洪绶自称“废人”。如《失题》中有“老废人偏爱，因缘我自思”，《且止》中有“净土开生路，名山收废人”《姜绮季赴天章、子山二陶子废社，诗寄陶水师去病暨二陶子》中有“废人莫若我，绮老敢雁行”。
