國中畢業時，因為體格不符而無法進入軍校就讀，為了上高中，疼愛他的祖母還帶著他到處拜託校長，請教官幫忙，終於讓他進入金門高中就讀（註一）。他在高中時受蔡繼堯老師的啟發，又在學業的壓力下從藝術的世界裡找到了自信，當時的他並不知道這將深深影響他未來的路。但是他的學習之路卻因為貪玩並不順遂，高一留級，高二因正值戰事逼緊，老師沒空進行補考而沒給他補考機會，所以再留級。因為一再留級（李錫隆局長與世團師是高中的老同學，李局長還幽默的說：「雖然世團師比我高一兩屆，但因為他太愛母校，所以才有機會與他作為同學」），世團師在個人自尊心驅使，決定去臺灣試試看，去讀本島的高中，但世團師的父親擔心這個從金門過去的純樸孩子到一個人生地不熟的環境會吃虧、被欺負，所以堅決反對，甚至絕食三天抗議，然而世團師的心意已決，一咬牙還是搭上了開往臺灣的船，父親氣得破口大罵，祖母則是含著淚送走最疼愛的孫子。然而連最疼愛他的祖母也不贊成他走上藝術這條路，也再三的叮囑：「學繪畫是會當乞丐的。」（註二）
到了臺灣就讀美德高中，終於結束了五年的高中生涯，就回到金門。因為戰地的關係，國民小學經常無法聘足師資，他就應徵代課教師，曾經在小金門卓環國小、金沙國小、述美國小等服務過。
世團師的祖母
年青帥氣十足的世團師在金門高中的留影
上方兩圖為世團師在高雄縣美濃鎮私立美德高中的生活照
