弘治十三年（1500)，刚出狱不久的唐伯虎对仕途 彻底失看，决定将本身的后半生寄情于游历山水、吟诗做 画。他搭船分开苏州，来到镇江、扬州，然后又顺长江而 上抵达芜湖、九江，游览了庐山等光景名胜。然后，他到 黄州看看了赤壁之战的遗址，又往湖南游览了岳阳楼、洞 庭湖等地，尔后还辗转到过福建、浙江、安徽等地。
此次 漫游名山大川，共破费了九个月的时间。唐寅将各地美景 收进眼中，为他的后半生做画积存了丰富的素材。正德九年（1514)，明宗室宁王墨宸濠以重金延请唐 伯虎到南昌为其效劳。宁王的慧眼识才唤起了唐伯虎心中 仅有的一点儿政治抱负。思虑再三之后，唐伯虎决定承受 邀请。
然而，令他没有想到的是，宁王请他的意图其实不在 于他的才调，而是在为谋反篡位招兵买马。陷进了政治旋 涡的唐伯虎非常苦闷，无法之下，他只好装聋作哑，遁藏杀身之祸。后来，宁王见他举行疯癫，便放他回到故乡。再次回到苏州后，唐伯虎没有谋生之路，只好靠售卖 背晨字画为生，凭仗才子之名，唐伯虎的字画大多能卖个好代价，久而久之，也就存下了一些积存。
36岁时，唐伯虎用 那些积存，在苏州城北一处依山傍水的处所建了一座桃花 坞。桃花坞其实只要几间茅舍，却风光恼人，清幽清雅。 唐伯虎为其取名为“桃花庵”，自号“桃花庵主”。唐伯 虎有名的《桃花庵歌》就做于此：“桃花坞里桃花庵，桃 花庵下桃花仙。
桃花仙人种桃树，又摘桃花换酒钱。…… 他人笑我太疯癫，我笑别人看不穿。……”唐伯虎还经常 邀请老友祝允明、文徵明等来桃花庵小叙，对酒当歌，吟 诗做赋。那段生活虽清寒却也潇洒，是唐伯虎后半生过得 更舒适的一段光阴。据别史记载，唐伯虎后半生曾经碰着一位红颜良知， 名喊沈九娘。
沈九娘在唐伯虎穷困失意的时候呈现，陪他配合患难，一度让唐伯虎萌发了续弦的念头。然而不幸的 是，沈九娘早早病死，令唐伯虎哀思不已。后来，人们依 据沈九娘的名字，竟诬捏出唐伯虎有九房妻妾，那纯属无 稽之谈了。