由於當時教育並不普及，鄉民多以家中事務亟需人力為由，多不鼓勵學童就學，當時身為分教場主任的楊來吉校長，帶著老師挨家挨戶的請託，倍及辛苦。當時的物資相當缺乏，即使就學的學童，桌椅都是從自己家中搬來，而且在上課的環境中，一邊還要承受熬製樟腦的氣味，學習環境之惡劣，可想而知。再加上此地狹小，楊來吉校長三番兩次向上級單位反應另外覓地建校，終於獲上級單位同意，派日本人來籌建學校，但建校的實際工作卻落在楊來吉校長身上。由於楊校長本身喜歡自然山野，於是他尋覓的地方多不出觀音山麓。當時經過了一番尋覓，分別找到大崁紅杞埔、米倉烏山頭及龍形聖心女中現址三個地方

，但在顧及三個村莊的學童上學路程後，終於決定取折衷地點─米倉村烏山頭，當時在烏山頭張姓地主捐地協助下，終於完成興建學校的願望，並且在隔年(1923)順利遷校至現址。

　　當年興建學校，不像現代有各種機具，完全都要靠人工，尤其米倉國小又建在山坡上，更增加了困難度。但楊來吉校長不畏艱難，率領村民同心協力，利用鋤頭，扁擔，畚箕整理校園。初期興建的校舍有三間教室，分別是5.6年級、2.3年級及1.4年級。楊來吉校長自己負責教導2.3年級學生課業，教學科目有國語、算數、修身(生活)、音樂及體育。全學年分成三個學期第一學期4/1~6/30，第二學期9/1~12/31，第三學期1-1~3/31。