1935년 1월 1일에 태어나셨다. 경성부 모토마치(지금의 용산구 원동)에서 의사인 어머니와 의사자격이 있는 아버지 사이에서 태어났다. 아버지도 의사자격이 있지만 가난한 환자에게 돈받는게 싫다고 의사를 그만둬서 집안의 수입은 어머니가 책임졌다. 어머니는 아버지가 소학교 교사를 하던시기 제자로 만나서 혼인을 한것이다. 1941년 경성사범학교부설국민학교에 입학했는데 이 곳은 일본인 학교였고 조선인이 2명 있었는데 2명 중 하나가 이휘소였다.  그 직후 경성부 신세쓰마치로 이사갔는데 신세쓰마치는 지금의 성북구 보문동과 동대문구 신설동에 걸쳐있는 지역이었다. 이휘소가 살았던 곳은 성북구 보문동이었다. 해방 된 후 1947년 서울대학교사범대학부설국민학교라는 이름으로 졸업하고 경기중학교에 입학했고 화학 동아리에서 활동했다. 그의 친구 중에 민희식이라는 이름의 부유한 친구가 있었는데 그의 집에는 일본인들이 해방이후 버리고 간 책들이 상당히 많았고 그의 집에 있던 어린이과학이라는 일어잡지를 통해 화학덕후가 되었다.

1950년 6월 25일 경기중학교 4학년이던 이휘소는 6.25 전쟁이 터지자 가족들과 함께 아버지의 고향 공주로 피난갔다. 그 직후 공주도 상황이 여의치않게되어 아버지의 소학교 제자의 권유로 경남 마산으로 또 피난을 가게되었다. 그 기간동안 학교를 못다니던 이휘소는 정부에서 전시훈령이 발표돼 인근 마산중학교로 편입했고 그의 아버지는 창원보건소에서 일하게되었다. 하지만 마산과 창원사이 통근할 거리가 안되어서 주말마다만 집에 올 수 있었던 그의 아버지는 1951년 12월 겨울에 마산 집으로 오던 중 개울둑에 발을 헛디뎌 사망했다. 

이휘소는 미산중학교를 다니다 부산에 피난 온 경기중학교 임시교사에서 다니게 됐는데 마산에서 부산까지 기차로 왕복 6시간을 통학했다. 이를 버틸 수 없어 결국 자퇴하고 검정고시를 응시해 1952년 서울대학교 공과대학 화학공학과에 수석으로 입학했다. 정확히는 부산에 천막같은 곳에 임시로 피난 온 국공사립을 총 망라해서 연합으로 되어었던 '전시연합대학'으로 입학했다. 

그곳에 입학한 그는 화학공학 수업을 한 학기를 듣고 물리학에 관심을 갖기로 했다. 이후 서울 태릉으로 학교를 옮긴 서울대학교에 다닌 그는 학교 수업과는 별개로 물리학 공부도 독학으로 하고 있었고 물리학과로 전과를 하려는데 정부에서 공과대학생은 당시 물리학과가 있었던 문리과대학으로의 전과를 금지하고 있었다. 그리고 여러번의 좌절로 고통을 받던 그는 한 주한미군 부인회의 미국 유학 시험에 응시하고 합격, 그의 물리학 공부를 막던 태릉의 서울대학교를 과감히 박차고 미국으로 떠났다. 

강효상(이휘소의 제자)