吳伯雄祖籍為福建省永定縣下洋鎮思賢村，是一座地接廣東省的閩西客家家莊，文風興盛、保有中原士族純樸遺緒。之後思賢村吳家於清朝咸豐年間，在吳伯雄的曾祖父吳聖昌(勝昌)的帶領下，渡海遷台，落籍桃園中壢。

爾後，吳伯雄的祖父吳榮棣來台後，在台成為光緒年間秀才，並為台灣文吟詩社社長，為當時台灣早期本土著名的鄉土詩人，被現代歷史學者譽為「文采德行、素孚桑梓」、「發皇漢學、厥功至偉」。而吳榮棣秀才育有八子三女，其中八兄弟有四位是醫生，三子吳鴻麟，即為吳伯雄的父親。

吳鴻麟為日本九州大學醫學博士、台北帝國大學外科醫局長，後來夥同其大哥吳鴻森開創了中壢醫院，而吳伯雄亦出生於此醫院。現今中壢醫院原址具八十年歷史，為日治時代巴洛克式建築，應地方之要求，保存遺蹟，放棄改建大樓的計畫，保存原貌，樓上提供佛光山的禪淨中心，樓下則為立委吳志揚的服務處。 吳鴻麟為國民黨籍政治人物。

其當年在中壢一帶，義診免費行醫，獲得鄉里好評，因而受地方推舉當選台灣省參議員以及國大代表，亦曾當選桃園縣縣長；今日桃園一帶仍有許多以他為名號的慈善事業與獎學金補助。 吳伯雄家境優渥，其本人曾透露，自己當年當選桃園縣長之後，父親吳鴻麟每個月都給他一筆生活補助費，其金額較薪水更高，以養清廉。