坐落于黄山南麓的西递村始建于北宋，为胡姓人家聚居之地，迄今已有950余年的历史。中国地势西高东低，百川纳海，大抵自西向东，故李后主有句曰：“恰似一江春水向东流”。然而也还是有少量的西流之水，每每引人注目，如苏轼“门前流水尚能西”之句。西递村边有水西流，又曾有传送邮件的古代驿站，故名“西递”。屹立在西递村口的石牌坊，肇建于明朝万历年间，是西递人经皇帝恩准，为表彰本处乡亲胡文光的功德所建。石坊三间四柱五楼，结构精巧，巍峨峥嵘，与同在村口的半月池塘动静成趣，是西递村的标志性建筑。胡文光，西递村人，于明代嘉靖三十四年（1555年）中举，曾先后任万载县令、胶州刺史和荆州刺史。
牌坊正反面匾额上所雕“胶州刺史”和“荆蕃首相”字样，便是他曾担任过的最高官职。历史上，西递村头曾建有13座牌坊，大都为旌表孝子和节妇的。现仅存的胡文光牌坊是其中最雄伟、最精致的，堪称明代徽派石坊的代表作。据记载，西递胡姓的始祖本为唐昭宗李晔之子，因遭变乱，逃匿民间，改为胡姓，繁衍生息，形成聚居村落。西递自古文风昌盛，明清年间，一些读书人弃儒从贾，他们经商成功后大兴土木，建房、修祠、铺路、架桥，将故里建设得舒适、堂皇。虽经数百年世态沧桑和风雨剥蚀，至今仍保留下明清村落的基本面貌和特征。村落布局呈船形，四面环山，两条溪流穿村而过，村中街巷沿溪而设，均以青石铺地。
村落空间自然流畅，动静相宜。街旁古建筑淡雅朴素，错落有致。村内现存明、清古民居124幢，祠堂3幢，均堪称徽派民居建筑艺术之典范。古宅“大夫第”，建于清康熙三十年（公元1691年）。本为用于观景的临街亭阁式建筑，楼额悬有“桃花源里人家”六个大字，门额下还有“作退一步想”的题字，表现士大夫退思之意。今人却将其作为拓展经济的噱头，在此举办民俗活动，说成是民间故事中小姐择婿时“抛绣球”的绣楼。