小白宮是一棟殖民地式建築。殖民地式建築之特徵有抬高地基、四周有類似迴廊之 涼台的設置、落地門窗、煙囪等等。涼台的設計佔建築面積很大的比例，形成另一種型態的生活空間，與僅為增加建築面積之陽台設計不同，因此這種擁有大面積的的殖民地式建築又稱為涼台殖民地式建築。小白宮，正立面向南，面對淡水河，有十一個半圓拱圈，東、西面各有四個半圓拱圈。規律對稱的拱圈，在視覺上具有協調柔和與美感。東、西、南三面的拱券迴廊，除視覺效果外還可增加光照面積，使每一個空間都能得到充足的日照與視野。門窗的位置均與迴廊拱圈相呼應，除採光性及通風性良好外，更便於由室內觀賞室外景色。迴廊每一扇門窗上，都附有木質的活動百葉窗，作為調節光線及加強遮陽效果之用。屋頂是四坡式斜屋頂的基本形式，方便排水，亦可增高室內空間或作成閣樓使用，同時具有隔熱作用。屋頂上設有煙囪，是壁爐設備，壁爐主要作為取暖及防潮用。地基用紅磚及石材砌成基座，外側周圍則留有通風口，基座抬高約 一公尺 ，既可防潮又能表現出主人之尊貴氣派。
 
搶救小白宮
1995 年淡水鎮公所依文化資產保存法，於 9 月 25 日 提報小白宮、滬尾偕醫館、淡水禮拜堂為古蹟。不料卻在 11 月 4 日 接到關稅總局之回文，告知小白宮已在同年四月奉報審計部核准提前報廢，計劃改建為其員工宿舍。消息一來，小白宮之命運立刻引起各界關注。
翌年1 月 11 日 ，縣府依程序到淡水文化大樓召開古蹟評鑑會議，不料淡水教會對其所屬偕醫館、禮拜堂被選為古蹟極表歡迎，但關稅總局卻是態度相反。與會學者專家林衡道、周宗賢和薛琴等，一致認為小白宮是淡水最具價值的歷史古蹟必須完整保留，也呼籲關稅總局身為公家單位要為民表率，應先以古蹟為榮。但代表關稅總局的董副處長，卻辯稱小白宮已在 59 年 11 月 4 日 改建，並非古蹟。此言一出立刻引起在場學者和地方人士之不滿，隨即指出一大堆人證和事證來，也有人表示立於小白宮四週的「總稅務司公署」之界石就是物證。結果會議結束後到 二月一日 時，卻發現所有的界石不翼而飛。一開始關稅總局推說不知（這是違反文資法的），但在公所民政課表示要報警的情形下，關稅總局才改口稱已遷至北市鄭州路的海關博物館，移走的理由是「保護文物」。這個小動作自然引起文化界的不信任。
淡水立刻掀起「搶救小白宮」行動並組成搶救連盟，透過串聯、導覽、講座、文章發表和陳情、抗議等，未到年底就將搶救行動帶到高峰， 11 月 28 日 淡水鎮民代表會通過全體鎮民支持小白宮為古蹟，以 12 月 25 日 在鎮公所展開連署。至此，搶救小白宮已成全國性運動。
1997 年 1 月 12 日 在立法委員盧修一的堅持下，關稅總局只得將小白宮打開大門供李乾朗等學者入內會勘，兩天後立法委員蘇貞昌（後來的縣長）也在立法院召開記者會，要求內政部應儘快指定小白宮為古蹟，並要求關稅總局在審查期間不得有施工或拆除行動，立委王拓也在立院質詢，會後並率搶救連盟拜會內政部長林豐正，部長允諾在春節前完成審查，也同意搶救連盟成員列席審查會，同年 2 月 25 日正式公告小白宮為三級古蹟，名稱為「前清稅務司官邸」。