胡雪岩故居建於同治十一年(1872年),歷時3年,耗銀數十萬兩,佔地10餘畝,落成時有主要建築二十餘座,建築構思巧妙,恢宏繁麗,建築大量用紫檀、酸枝、楠木、銀杏、南洋彬和中國櫸等木材,磚雕、木雕、石雕無品不精,使這所宅院堪稱清末江南巨商第一宅。