二百多年前前人從大陸廣東地區渡海來台，沿社子溪而上，看見兩旁山丘林立，有隆起的山丘，因山勢類似龜，而命名為「龜山」，雖然經首任的鎮長劉金標等人，曾改名為貴山，但民間習俗仍習稱龜山。 龜山雖是一座小山，但自古以來就成為教育的好地方。清宣宗道光年間在山麓平地上，設置武營汛地，轂綰南北官道之要衝。