恰巧那些王府里其他平日助纣谄媚的馆客，本来就忌妒着唐解元的多才多艺，近日又因为这风流解元的横扫风月欢场，使得本是扬州风月场上大受欢迎的狐群狗党，纷纷被妓院名妓冷落而怀恨不已，于是联络着想要撵他出王府。这时便纷纷乘机进言，在宁王面前肆意攻讦，只说唐伯虎自以为才高学广，平日目中无人，眼高于顶，并且风流自命，使着他那一张胜过女子的姣美脸庞，时常去娘儿们身上用功夫，如今更是疯疯颠颠在良家妇女面前露出丑态，直似害了桃花痴，若是留这种人在府里，不但没有用处，日后恐怕还要因此而误事，不如趁这个当儿，捉住他一个错处，索性了结他的性命，免得留下祸根。
宁王听了这些话，本想就藉此将唐伯虎给害了，免得出去泄露王府机密，但是转念一想，自己要夺大明朝的江山，正在用人之际，唐伯虎文才名气如此之高，如果将他杀害了，一定要担着个害贤之名，日后不但没有能人愿意再来归附，就是已经罗致到手的人才也要闻之寒心，不肯尽心尽力的帮我出力。
好在伯虎如今已是颠颠倒倒的成了疯狂，眼见他的神志已被女色二字弄得昏昏沉沉，早已胸无大志，无论如何才高学广，再也干不出什么大事，倒不如现在放开胆量，把他送归故里，由他去害他的桃花痴，最好能够痴死了，那就是孤王的洪福齐天，日后大明朝江山，一定能归孤王一统掌握无疑，如今倒还好像是在他身上预卜一个佳兆。况且那江浙两省大大小小的文武官员，那一个不是孤王的心腹，万一他回到家中竟然就不发桃花痴了，有任可形迹可疑之处，届时要取他首级也是易如反掌。倒实在犯不上没事预先担上一个害贤之名。
宁王想定了这个主张，先是差人将伯虎带到于堂前厉声责问，说他乐浪花街柳巷已是败坏王府名声，现在居然在王府里如此无状？该当何罪？
伯虎此时编出了一个理由，倒是让那宁王宸濠无言以对，原来宁王请到唐寅到王府做馆客时，因为自己娶了九位美艳的王妃娘娘想要对外宣扬一番，就希望唐寅画上一幅九美图，同时还限令半个月内就要画就。这可抵触到大画家唐寅作画那四不绘的原则了：润笔不丰、心绪不佳、期限不宽、笺纸不佳。这四种问题只要犯着一样，他便弃笔不绘所以称为四不绘。偏偏宁王先是犯了个期限不宽，接着让伯虎心绪不佳，于是就拖拖延延的敷衍了两三天，逼得急了就将墨汁涂满了画卷，再加一个笺纸不佳这一样不绘，于是更加绘不成。
伯虎就将这件事当作藉口，说要画美人得要多看美人才会有灵感，那王妃娘娘们是何等尊贵，岂容他人日日细看分明，于是走访花街柳弄其实是为了绘那九美图的缘故，可惜那风尘女子怎比得过王府贵妇端庄，总是无法捕捉到合宜的神韵，故而在花园中戏弄艳婢，也不过是想要多近看美丽女子，以便绘个绝佳的美人图。
听到伯虎这番歪理，宁王倒也有些愧疚了，原来是孤王逼画将一个人才给逼成了花痴了，如此说来还倒是孤王的不是了，于是索性做一个好人，只说让他回家养病，准备赠他路费并派人一直把他送上苏州。
伯虎得知计已得逞可以脱离贼巢，果真是正中下怀，暗想你虽是老奸巨滑，到底也中了我的计。心中虽然十分喜悦，但嘴里仍然嚷嚷着这九美图还没画，怎么可以就这么回去；一会儿又说苏州的妓院不多，找不到美丽的名妓，回去可能没有灵感；再一下又说，或许没有关系，可以穿街过巷的，就找那平常人家的小家碧玉多看看，就不定别有风情；最后则一再重申，说回到老家以后，或许可以定下心来，届时一定要努力做画，定要在三个月期间，将这九美图画好呈给宁王。
宁王见他如此的语无伦次，只当是随口说说，于是摇摇头，敷衍了两句要保重身体，就差人将伯虎支开了。
且说伯虎由宁王心腹家人护送回乡那一路行来，只见家家流水，户户垂杨，好一派江南风景，得以逃出贼穴，返回家园之时，更是觉得亲切有趣。
看那晴空中青天白云，两岸杨柳随风飘逸，更有一株半棵的丹枫夹在里面，正是青的靛青、白的雪白、绿的碧绿、红的火红，仿佛巧手名家的一幅大画，做了一架数十里长的绝妙屏风。
一路的叹赏不绝，不知不觉中已是红日西斜，忽听一声娇嫩的采莲谣，那唱腔是字字清脆，声声宛转，如新莺出谷，乳燕归巢。听到这歌儿令人身心舒畅、思虑全消。此时季节已过冬至，虽说江南天气暖和，但也早已无莲可采，原来却是爱唱曲儿的船户之女，在河南岸的一叶扁舟之上歌唱自娱，岸边恰有一层芦苇，现在正是开花的时候，一片白花映着带水气的斜阳，好似一条桃红绒毯，正将这舟儿半遮半掩的围在中间。