昭和15(1940)年二次大戰期間，台灣受到影響，所有教育機構幾近停擺，學校青年男生不時被徵召至戰場服役，女生亦充任救護員，隨時帶著救護箱，救助因空襲逃難受傷的鄉民。當時楊來吉校長40歲，親見時局混亂，卻無能為力，加上屆滿服務規定年限，遂萌生退意，希望能從事其他事業，來協助台灣貧苦社會。於是申請退休獲准後，楊來吉校長運用日本政府發給的退休金，購地建廠，在三重與林本源總管許丙先生合夥從事食品加工業，製作米粉、麵乾、豆腐、粽子、年糕等，並加入食品配給之單位。後來，楊校長又改經營水仙肥皂廠，並投資不動產事業，由於楊校長堅苦卓絕的精神毅力，使其退休後的事業可以說是蒸蒸日上，不僅改善了家裡的生活，更行有餘力的投入社會公義救助活動。這段期間楊校長仍不時關注教育界的動態，也曾應邀至圓山公學校(今屯山國小)代課，還興建來吉圖書館贈予米倉國小等等，另家鄉學子感懷萬分。

　　台灣光復後，由於到處戰害，荒廢不堪，46歲的楊來吉校長獨具慧眼，民國35(1946)年購得台北市博愛路80號，並舉家遷入居住至今。

　　年近50歲的楊來吉校長，仍精力充沛，活躍於社會政商界間。忙碌之餘，楊校長仍常回到米倉國小，這一所當年由他一手肇建的學校。楊校長曾表示，米倉國小是他投入最多心血的學校，由如他親身的孩子般，讓他關懷備至。民國70(1981)年，楊校長81歲，在他老人家提議下，由畢業校友及八里當地士紳共同集資興建來吉圖書館，提供米倉國小學生及社區居民舒適的閱讀環境及充裕的圖書資源。晚年的楊校長，以參加早覺會為生活重心，廣交益友四處旅行，遊覽世界各地。