教會單身姑娘的來台服務，當時教會必須提供她們合適的宿舍。當時台灣民宅的居住環境，不適合洋人的生理和文化條件，英國雖於 1861 年在淡水已設領事館，卻又在 1874 年另建領事官邸。而馬偕於 1872 年在淡水龍目井街租屋宣教，最後也必須在 1875 年時為自己和另一宣教士華雅各 醫師蓋砲台埔的宿舍，都是考慮到現實上的需要而蓋的。

因此吳威廉牧師擇地於馬偕博士宿舍西鄰，原寶順洋行之地，親自設計督工，聘當時著名的洋樓匠師黃阿樹施工（樹司是洪仔泉女婿，泉司當年和馬偕合作蓋過馬偕的宿舍、偕醫館、牛津學堂和女學堂等洋樓），這棟磚拱迴廊的「番仔樓」落成於 1906 年，今日在其屋頂西邊的氣窗上，仍有白灰所塑「 1906 」的浮字，所用的磚材和福杉據稱來自廈門。磚工精細、造形、比例優美，是難得的建築作品；由於最先住的是高姑娘、金姑娘，淡水人就稱它為「姑娘樓」。

而姑娘樓西側的牧師樓，在吳牧師過世後由明有德牧師（ Rev Hugh. A. MacMillan ）進駐，明牧師是淡江中學男校最後一任校長，學校被日人接管而明牧師搬到雙連後，成為孫雅各牧師（ Rev James Dickson ）的牧師樓，孫牧師是台北神學校校長，較年輕前衛，他有一部福特汽車，因此牧師樓西側的地下室就成為他的車庫，而教會人士習慣稱牧師樓為「孫牧師樓」。（資料來源淡江中學校史館）