凡到過杭州胡雪巖故居的游人，無不嘆服這個大宅院宅第朱扉紫牖、雕刻門樓的精巧，故居內芝園怪石嶙峋、石橋亭閣的雅致，鄭板橋、唐伯虎等名家書法石刻彩畫作品的珍奇。
胡雪巖故居建于同治11年（1827），占地十多畝，宅內有十三樓，建筑構思巧妙，建筑工藝精致，磚雕、木雕、石雕、灰雕無品不精；建筑用材講究，大量選用紫檀、楠木、銀杏、中國櫸等高檔木材。全宅銅鑄件就重達10余噸，竭盡豪華，堪稱清末中國巨富第一宅。如楠木廳，建筑全部用楠木構筑，至今在這里可以嗅到楠木特有的香味。如百獅樓，由100個紫檀磨成的獅子裝飾欄桿構成。宅院還吸收了大量當時十分罕見的西洋建筑風格和材料，院內不少建筑門窗都裝飾了以藍綠色調為主的五彩玻璃，芝園中的影憐院，廳內裝飾有在日本定制的水法塔燈和英國人送的兩面大鏡子。
尤其是宅院中的園林——芝園，更是江南園林之精品。芝園的中部主體建筑延碧堂，因材料全部選用雞翅木故又稱紅木廳。站在廳前露臺上隔水相望，只見對岸一座大假山造型奇特。據記載，此假山是當時譽滿京師的造園名家伊芝所設計，是伊芝去靈隱寺前飛來峰住了一個月得到靈感而成，又請了杭州最著名的工匠負責疊造，歷時兩月才完成。更為巧妙的是，圍繞假山石的回廊，建有造型精巧的影憐院、薈錦堂、御風樓、洗秋院、鎖春堂等小樓，和假山石融為一體，別有韻致。
而后“富坼王候，財傾半壁”這八個字，極為簡練地概括了當年胡雪巖炙手可熱的暴富狀態(tài)。
胡雪巖，原名光墉，字雪巖，安徽績溪縣人。咸豐十年他從上海運糧米、軍火接濟杭州清軍，次年又與左宗棠組織常捷軍，同治五年又協助左宗棠創(chuàng)辦福州船政局，左調任陜甘總督后，胡在上海為他籌集軍糧，訂購軍火。慈禧太后親賜匾額，賞黃馬褂。胡雪巖在各省設立阜康銀號，經營當鋪、藥鋪，出口絲、茶……他白手起家，買空賣空；操縱商場，晉陞官場；日進斗金，既富且貴，終成一代巨賈。
然而，興也何迅，敗也何速！“古云富不過三代，以紅頂商人之老謀深算，竟不過十載。”胡雪巖從富甲天下到錢莊倒閉，商號破產，負債纍纍，革去職銜，家道破落，次年便憂憤而死。
據《清代七百名人傳》記載：胡雪巖修建“第宅園囿，所置松石花木，備極奇珍。姬妾成群，筑十三樓以貯之”。“大起園林，縱情聲色，起居豪奢，過于王侯，驕奢淫逸，大改本性。”說的是胡雪巖不僅修建了“江南第一豪宅”，還修了一個“十三樓”，用來安排自己的姬妾。
據傳說，姬妾住進十三樓之后，胡雪巖象是一個帝王，每日臨幸十三樓。他還模仿帝王，弄了個“翻牌子”。每天晚上，會有侍女端來寫有姬妾名字的牙牌，胡雪巖今晚想在哪里睡，就翻誰的牌子。他還讓諸妾穿上寫著“車”“馬”“砲”字樣的紅藍馬甲，登到在高臺上畫好的棋盤，紅藍對峙，胡雪巖和夫人在欄桿后用竹竿指揮她們，“下活棋”。胡雪巖和他姬妾一起過著肉林酒池、歡歌盛宴的奢靡生活，享樂縱欲無度，揮金如湯沃雪，派頭絲毫不亞于皇帝。
據光緒年間歐陽昱《見聞瑣錄》記載，胡雪巖的女人，還不止住在十三樓的“東樓十二釵”，“凡買而旋遣者，殆數百人”。胡雪巖會買許多女子，但他喜新厭舊，因此會定期遣散一些女人，光是遣散的人，就有幾百人那么多，由此可見胡雪巖的生活過的是多么奢侈淫糜。
