赤崁樓是荷人所建的普羅民遮城的遺址。早期的漢人稱荷蘭人為紅毛，所以也把這座城樓叫做紅毛樓。

　　十七世紀初葉，荷蘭人兩度入侵澎湖，都被明廷打退。西元一六二四年便轉佔臺灣，由安平登陸，在一鯤鯓建造了奧倫尼亞城；三年後，改名為熱蘭遮城。由於商務繁多，原址不敷使用，加上水源缺乏，乃遷往赤崁一帶，重建市街。西元一六五二年郭懷一抗荷事件，荷蘭人為了鎮守赤崁一地，便於次年在赤崁建造普羅民遮城，兩年後已大致完成，這便是初期的赤崁樓。普羅民遮城的建築材料十分特殊，據說建城之時，磚瓦都從英商東印度公司運來，唯獨忘了石灰，荷人遂以臺灣盛產的糖加水後，搗和糯米汁、牡蠣灰（三合土）而砌成。當時的城樓，背山面海，與熱蘭遮城遙相對望，互為犄角，控制了臺江內海。由於市街繁盛，荷蘭人便以它做為商業及政務的中心。 西元一六六一年，鄭成功先收復了普羅民遮城，改赤嵌為東都明京，並暫住在城樓內。直到九個月以後荷人投降，鄭成功才搬離普羅民遮城進駐到熱蘭遮城。

　　之後，普羅民遮城成為火藥、軍械的貯存所。西元一七二一年朱一貴之亂時，城樓遭到嚴重破壞，甚至門額鐵字也被取下來鑄造武器。接著幾次大地震的肆虐，城樓坍塌，原普羅民遮城幾乎成了廢墟！西元一七五Ｏ年知縣將縣署移建於赤嵌樓右側，才加以修護管理，定時開放供人參觀。

　　後來有供奉觀音佛祖的信徒們，在城樓上建造大士殿。中法戰爭時期，劉銘傳下令臺灣知縣沈受謙拆毀荷蘭時期的城墓，大士殿因而受到波及。西元一八八六年沈知縣為了振興文教，在赤崁樓北側建蓬壺書院，同時，將赤崁樓樓基填平，在高臺上建造文昌閣、五子祠及海神廟。次年中法戰爭結束，人民又要求恢復大士殿，於是，舊基填平的赤崁樓，竟成了廟、院、閣、祠、殿等各種不同建築雜陳的展示場，這也就是赤崁樓現貌的基礎。

　　日據時期，赤崁樓充當陸軍衛戍病院，蓬壺書院因地震多半倒塌，五子祠也因颱風的侵襲而損毀。西元一九一八年，日人整修赤崁樓，並做為臺灣總督府日語學校臺南分校。臺灣光復後，赤嵌樓曾做為臺南市立歷史館使用。民國四十九年時，由乾隆皇帝親自撰寫的九座贔屭碑，移至海神廟臺基南邊排列展示。民國五十四年赤崁樓做了一次大規模的整修，移除了不少朽木，卸換上許多鋼筋水泥的柱樑。 總而言之，赤嵌樓就像一部活生生的建築演變史。從荷蘭式的城堡，迭經歷代的改變，一躍而為中國建築的輪廓；從諸廟雜陳到雙棲並立；從填平城基，到碑林佇立。她真是歷盡滄桑，變化萬千！

　　文昌閣下之斷足石馬乃取自鄭其仁墓前，墓前有二石馬，鄉人稱為石馬墓，曾有人誤認為鄭成功墓寢者，現石馬一在子尾天后宮，另一者即此斷足石馬。為何它會斷足？據說，這匹石馬造型逼真且具有靈性，曾有人看見它半夜跑到樓外玩耍，嚇壞了附近居民，因此大家便決定將它的前腿砍下，以防它再跑出來嚇到人，不過後來因為美觀上的考量，又重新將它補好。石馬後即古普羅民遮城堡門。沿階梯上樓，右為赤崁樓，左為文昌閣，其間有一「紅毛井」，是一口半月形的石砌古井，這口古井年代久遠，是荷蘭人鑿來汲水飲用的。當時普羅民遮城與熱蘭遮城隔著台江內海遙遙相望，為了聯絡兩城，據說荷蘭人曾挖掘一條海底秘道，赤崁這邊的出口就是這口古井，又說，鄭成功圍攻普羅民遮城時，荷蘭人便是利用這條秘道逃往安平的。古籍曾經記載，赤崁樓「複道久遠塵土塞，斜梯誰向古藤攀；巢營兔窟門如竇，室繞蛇行路幾彎」，十分神秘。受到傳聞影響，從日治時期一直到民國七十九年為止，這口古井幾經挖掘。然而除掉若干古壺、碎瓷外，並沒有找到任何通道。專家們以此佐以當時技術能力為證，認為秘道是不存在的;許多人卻認為挖掘位置有誤，地道確實是有的。雙方各持有己見，城堡、古井、秘道的浪漫傳奇則繼續流傳不歇……