後來林平侯與竹塹林紹賢共同經辦台灣鹽務，更累積了不少財富。當時林平侯年已 40 ，於是衣錦還鄉，返回中國捐官，擔任廣西柳州知府共 7 年。後來林平侯無意於仕途，於是在嘉慶 21 年（西元 1816 年）辭官返台定居。但是當時台北淡水有嚴重的漳州、泉州人械鬥的事件，為了避禍，林平侯在嘉慶 23 年時，遷居至大嵙崁（今桃園大溪）的三層（今福安里）定居，並興建巨宅、築大嵙崁堡防禦亂民、開墾田地、築灌溉水圳，田租收入大增。此後林平侯多次協助官府平定民亂，並籲請朝廷興建淡水城。道光 27 年（西元 1847 年），林家為了收佃租方便，在枋橋（即今

板橋）建弼益館，此為林家在板橋地區構屋的開始。

　　林平侯生有五子，依次為林國棟、林國仁、林國華、林國英、林國芳，分別管理林家的五個家號（商店號）：飲記、水記、本記、思記、源記，意為「飲水本思源」，並以「本源」為總家號。林家五子中以林國華與林國芳兩人最為賢能，承繼家風，勇於開拓本業。此時漳州、泉州人的械鬥事件仍未平息，為了避禍，兄弟二人在枋橋漳州籍居民的邀請之下，林家於咸豐元年（西元 1851 年）於枋橋弼益館旁興建三落大厝，並於咸豐 3 年落成後舉家遷入，咸豐 5 年開始籌建板橋城以抵禦泉州人騷擾。不久後，林家開始在大厝後興建園林庭園，並且聘請文人呂西村、謝琯樵等名士擔任西席（即家庭教師），為北台灣帶來不少文化氣息。林家第三代的林維源、林維讓承繼了前兩代的開展，在短短三代之內成為台灣的鉅富，林維源並且在中法戰爭後，大力協助台灣巡撫劉銘傳進行番界的拓殖、地方實業的推廣、與撫墾制度的推行。今日遊客所暢遊的林本源園邸，也是在這一代的經營下成長至顛峰。