但这样一座曾辉煌的村落却在太平天国时期惨遭屠村。村落中的房屋也在这一时期焚烧殆尽。现今的西溪南除了老屋阁、果园、绿绕亭外，再无完好的建筑。
明弘治十一年(1498年)，祝允明入溪南探访表亲，游赏元代溪南名士吴希德《溪南吴氏八景记》中的八景后，写了八首诗送给表亲。这份《溪南八景诗》在明末“黄山冤案”后，被人卖到了扬州。当时侨居扬州的溪南后人吴尔世买下了这份八景 ，并请来好友孙枝蔚用祝允明的韵再作和诗八首。吴尔世逝世后，他的儿子吴承励将这份诗稿交给了好友石涛，石涛根据这份诗稿作了八幅画。后人为了保护这些珍品，于是将祝允明、孙枝蔚的诗与这八幅画裱成了《溪南八景 》。民国初期，张大千曾临摹过这八景 。1938年多次易主的《溪南八景 》因战乱遗失四幅，1940 年收藏八景 的庞元济得知张大千在北平，于是请来张大千重画四景，补全了这份作品。1947年张大千再次来到庞元济家的时候，看见这幅《溪南八景 》感慨道：“石涛‘秀而密、实而空、幽而不怪、澹而多姿’的境界，我难以企及。”
明代中叶，西溪南虽然繁盛，但却也未能逃脱否极泰来的定论。天启年间，溪南吴养春之侄入朝做官，这位侄子因记恨吴养春霸占父亲的黄山，致使父亲郁郁而终，于是伙同被发现与叔母通奸从而被逐出吴家的外姓养子吴荣 gucci專賣店，一起向魏忠贤状告“吴养春私占黄山”。魏忠贤想霸占吴家财产，于是将吴家四兄弟收入牢中，并用严刑处死了两人，吴家倾尽家财救出了余下二位生者。“黄山冤案”之后，徽州各氏族均添加上一条类似“非我族中之人概不可收为养子”的族规，以求避免“黄山冤案”在自己氏族重演。
西溪南吴氏，并不仅仅满足于赋予村落文人气息，为了便于村落用水，还曾专程从日本请来水利专家，为村落设计徽州最大的水利工程，该工程至今依旧在运作。
同样是弘治十一年(1498年)，祝允明在即兴赋诗后，应表亲的邀请设计了“果园”。万历年间，溪南吴氏另一外侄―文坛两司马之一的汪道昆因“芝兰”气过重，在向张居正递交灾情奏章时卖弄文采，将这篇奏章写成了散文，而被罢了官。归家后，汪道昆开始“赖”在西溪南，扩张他的“新安诗派”。文坛两司马中的另一位王世贞曾率领由三吴、两浙一百多位文人组成的旅游观光团来拜访汪道昆，并与汪道昆率领的“新安诗派”联谊了一场“诗文会”，大家尽兴而欢。
徽州境内的山地及丘陵占十分之九，使得徽州有了土特产丰富和手工业发达的经济特色。南宋定都临安，为徽州的经济发展带来极大的机遇，徽州成为临安土特产品和手工产品的重要输出地。正是在这种特定的环境下，徽商逐步成长起来。明代徽商开始崭露头角，这些商人中的一部分开始进驻扬州，为清代扬州的繁盛奠定了基础。在这些人中，最为引人注目的是造就了“黄山画派”和“新安诗派”的西溪南吴氏家族。
石涛画有意境，与吴家有很大关系。清初，石涛、渐江、梅清被西溪南吴氏邀请入黄山，并将家中收藏的珍品字画提供给他们鉴赏、临摹。三人在黄山参禅作画，开创了“黄山画派”，三人在画作中也将黄山题为吴氏家山。
1987年，徽州行署被改为黄山市，徽州人至今仍难以接受这次更名，因为黄山在明代是西溪南吴氏的家山。当年“新安画派”的主要人物渐江等，都曾常年居住在吴氏家山的寺庙中。当时著名的画家董其昌、陈继儒、石涛、梅清等，都是西溪南吴氏家的常客。
在中国收藏界，西溪南曾是圣地。西溪南余清斋主人吴廷，与兄吴国逊都是著名的收藏家。清大内所藏书画，有一半精品都是吴廷旧藏，有其印识，其中有现存于台北故宫博物院的王羲之《快雪时晴帖》、颜真卿《祭侄文稿》、黄笙《写生珍禽 》。徽州籍画家黄宾虹在为故宫博物院鉴定字画时曾感叹：竟有如此之多的珍品在西溪南呆过。吴廷曾以米南宫真迹请董其昌作跋。为了能够造福后人，董其昌还帮助吴廷、吴桢鉴定甄别，镌刻了收藏史上最富盛名的《余清斋法帖》和《清鉴堂法帖》，刻石今仍藏歙县新安碑园。
相关的主题文章：
文章定位：
