由於飛碟屋荒廢太久，環境、外型髒亂，人們也就這樣藉此捕風捉影，而媒體報導，因為緊鄰的台二線道路拓寬之後，發生過幾起死亡車禍，後來甚至誇張到在日本網站上，就以「未來建築的廢墟」為標題介紹飛碟屋，說是在介紹飛碟屋興建時有觀光客意外死亡，怨靈陰魂不散，不只如此，在英文網站上飛碟屋被形容建商停工原因是基地挖出萬具屍骨，而把三芝稱作「台灣鬼城」。因此飛碟屋有許多傳聞，至今扔然沒有人可以解開這個《謎》。