1904年6月，林徽因出生在杭州。
祖父林孝恂喜得孙女，《诗经 大雅》取名，希望她可以拥有美好的品德。林氏家族是福建一带的名门望族，后代不思进取家道中落，沦为布衣。祖父林孝恂奋起读书，渴望恢复家族荣誉，1889年考取进士，翰林院编修。为人开明，重视子女教育，创办书塾、蚕桑职业学堂。
林徽因的父亲林长民是家里的长子。林长民继承了林孝恂的高贵品格和爱读书的热情，读国学，学新学。林长民一共娶了三房妻子，二房何雪媛是林徽因的母亲，出身商贾小家，从小娇生惯养，不善女工和持家，没读多少书。和林长民没有共同语言，甚为不合。林长民娶第三房感情极好。1910年，林长民从日本早稻田大学毕业，回国后，创办了福州私立法政学堂。
1912年，林徽因8岁，父亲林长民长居北京，全家由杭州搬到了上海。1916年，林长民在北洋政府任职，12岁的林徽因跟随全家从上海迁居到了北京。林徽因和表姐们在英国教会创办的培华女子中学读书，老师是外籍的，授课全部使用英文，校规严格，贵族学校。
1920年初夏，林徽因16岁了，跟随父亲到欧洲考察，为时一年半。经过两个多月的海上行程，来到了欧洲，游历了法国、意大利、瑞士、德国、比利时等国家。
