有些資料說高雄港港史館前身是海關辦事處，這是錯誤的，「高雄港港史館」興建於日治大正三年（1914年），為一棟早期巴洛克式的二層紅磚建築物。原來是日治時期「高雄港務局」的辦公處所，光復後仍沿用高雄港務局名稱迄今，所有高雄港務局的行政單位和海關的安全檢查隊都在這裡辦公，因為單位人員編制逐年增加辦公室不敷使用，於是整建位於哈瑪星第一船渠盡頭的港務局招待所，改建新辦公大樓，行政單位遷往後新辦公大樓，這棟紅樓因年久失修，部分結構略微傾頹，於民國83年（1994年）暫停使用，最後一個遷出的單位是安全檢查隊，並計畫予以拆除，但因為紅樓特殊歷史背景及文化價值，又正逢當時各地方政府積極保護歷史文物，為了緬懷先民篳路藍縷的精神，深植文化情懷及保存高雄港開發史實之物，便改為「高雄港文物資料館」。民國86年重新整修，歷經六年三個月，至民國91年11月完工，並於當年11月28日配合港務局週年局慶，正式對外開放，前任的黃局長正式命名為「高雄港港史館」。
在中、日斷交時，政府為了要報復日本政府，曾以行政命令指示，只要臺灣當時所有日治時期的建築，但是帶有日本軍國或神道色彩主義的一律拆除，如果沒有，可以暫時使用，但不得修繕，因此臺灣本有許多日治時期的建物被拆除一空。「高雄港港史館」和「高雄中學」都是日治時期模仿西方古典紅磚建築的紅樓。圓拱形的大門、白色的裝飾帶是其特色，然而港史館正面外牆兩側不但不對稱，連窗戶樣式也不同，四面外牆都不例外，各自表現差異，北面外牆更是白色壁面，且窗戶較少。走進館內，樓上、樓下、隔間的裝飾還是不對稱，圓形柱、方形柱皆有，連已經挑高的樓板都還留洞通風，整棟洋樓找不到一處是相互對稱，但是卻不會給人有不協調的感覺，在台灣是非常特殊及難得的建築物。整修前後外牆完全沒有改變，這是令人佩服的地方，港史館位於港邊經歷90年的歷史風吹日曬、戰火洗禮依然屹立不搖。內部的屋頂則需要補強才不會漏雨，原先靠南面的屋內有一個檜木製的木梯因年久失修，因為安全考量，整建後已經拆除；北面外牆沒有貼上紅磚，原本日治時期有考慮繼續延伸蓋過去，但太平洋戰爭爆發後一切建設都停擺，目前是香蕉棚觀景台（三號碼頭），也是另一個開放的親水空間。目前陳列展示高雄港的歷史文物、模型。
參考資料：高雄港港史館