李遠哲 的 家族亦赫赫有名， 父親是知名畫家[[李澤藩]]， 出生於[[新竹市]]武昌街 人士 ，畢業於[[台北師範學校]]；母親[[蔡配]]是小學教師，出生於臺中[[大肚中堡]][[梧棲街|梧棲港街]]，畢業於[[彰化女中]]。李遠哲與太太[[吳錦麗]]（Bernice Wu Chin-li） 在 相識於 小學時 相識 期 ，他們育有兩子一女：長子Ted（1963年出生，新聞業）、次子Sidney（1966年出生，醫師）、長女Charlotte（1969年出生，社會學家）。兄長[[李遠川]]為美國[[約翰霍普金斯大學]]教授<ref>[https://db1n.sinica.edu.tw/textdb/ioconas/02.php?func=22&_op=?ID:L044 李遠川院士]</ref>，[[中央研究院院士]]。小弟[[李遠鵬]]為新竹[[國立交通大學]]教授，也是[[中央研究院院士]]<ref>[http://www.epochtimes.com/b5/8/7/4/n2179715.htm 院士出爐 李遠哲:李遠鵬是家裡最聰明的人]</ref>。小妹[[李季眉]]為[[國立中興大學]]環境工程學系教授，曾任[[國立中興大學]]副校長。