起乳名为“怜妹子”。江家“洗女”六代，人说可能发男家，江氏嫁给曾麟书后，丈夫中了秀才，儿子官封一品，荣华已极。因此江氏家族认为，曾家的发迹靠的是江氏祖先葬的这块“仙女袒肤”地。
江家原比曾家富裕得多。江沛霖的父亲江宏辉本是国学生，家业丰厚，颇有豪侠气概。江沛霖兄弟各分得一份不小的家业。而江沛霖“弃场屋为族之领袖”，“轻财好义，家遂中落”。江沛霖“虽然贫困不遏，其志未少损”。将女儿许给曾家后，他对女婿曾麟书寄予厚望。曾对女婿说：吾人为学，如果能不以外物移其志，不以世不录用而迁其业，持之以恒，自能成功。吾知你固能奋力而学，你的后嗣亦一定能光大吾道，努力吧！
曾麟书十分敬佩岳丈，常携妻儿造访江家。曾国藩十岁时，还曾到外祖父门下读书（江沛霖在家设馆课徒，招收了几百人）。江沛霖家旁有一口水井，据说有一次，曾国藩跟外祖母去提水，与表弟相挤，掉进了井，幸被江沛霖救了出来。江沛霖晚年信佛，认为这是江家与曾家的祖德相报，并从外孙掉进井里险些“浸死”二字的谐音预言：外孙将来一定会成“进士”。后来曾国藩果真成了进士。道光十四年（1834年），曾国藩考中举人，曾麟书又携妻儿拜望已经八十五岁的岳丈。曾麟书让儿子曾国藩将他中举的试文拿给外公看，江沛霖细细阅读，大加赞扬，对女婿说：吾过去就知汝后代力学有大成，足以为吾道之光，这无非是其发轫耳。
中举才仅仅是个开始。这既是肯定，又是鼓励和更高的期望。江沛霖的话，给曾麟书、曾国藩父子留下了一生都无法忘怀的印象。后来曾麟书为岳丈刻写墓碑时，还满怀敬意地叙述上事，并说：“享年已八十五矣，其志之不衰如此。”
家风的影响和作用是十分重要的。曾国藩母家对曾氏家族的影响也不可忽略。
曾国藩的母亲江氏，拥有中国传统女性的许多优秀品德。她容貌秀丽，勤劳淑德，纺花搓线，烧茶煮饭，样样能干，并受家学影响粗识文字。当时，曾家经济尚不宽裕，江氏与曾国藩的父亲成婚后，谨守曾门家训，操持家务克勤克俭，特别是侍奉公婆十分周到。曾玉屏晚年卧病三年，她与丈夫日夜轮流守护床边，毫无怨言。江氏所生五男四女，“尺布寸缕，皆一手拮据”。曾国藩的父亲常以“人众家贫为虑”，而江氏总是“好作自强之言”相劝，或用“谐语以解劬苦”。她常对丈夫说：“吾家子女虽多，但某业读，某业耕，某业工贾。吾劳于内，诸子劳于外，岂忧贫哉？”
曾国藩继承了母亲的性格，敢与困难周旋，有倔强之气。晚年时，曾国藩说：他们兄弟秉承母德居多，好处是天性“倔强”。“‘倔强’二字，却不可少，功业文章，皆须此二字贯注其中，皆从‘倔强’二字做出”。
手足（1）
曾麟书育有四女五子。曾国藩为老二，上有一姐，下有三妹四弟，因最小的妹妹早夭，实际兄弟姐妹八人。
曾国藩在兄弟五人中居长；二弟曾国潢字澄侯，在族中大排行居四，称老四；三弟曾国华字温甫，过继给曾麟书三弟曾骥云，在族中大排行居六，称老六；四弟曾国荃字沅甫，在族中大排行居九，称老九；五弟曾国葆字季洪，后改名曾贞干，字事恒，称季弟。分别小曾国藩九岁、十一岁、十三岁、十七岁。
对几个弟弟，曾国藩恪尽兄长之责，认为这是在尽孝道，能够教导诸弟的德业进一分，自己的“孝”就有了一分；能够教导诸弟的德业进十分，自己的“孝”就有了十分；若全不能教弟成名，自己则为大不孝了。
曾国藩将进修德业视为教弟的根本。一次，曾国藩接得家书，知四弟、六弟未得入学，怅然之余，教导弟弟们：“科名有无迟早，总由前定，丝毫不能勉强。吾辈读书，只有两事：一者进德之事，讲求乎诚正修齐之道，以图无忝所生；一者修业之事，操习乎记诵词章之术，以图自卫其身。进德之事，难以尽言；至于修业以卫身，吾请言之。卫身莫大于谋食。农工商，劳力以求食者也；士，劳心以求食者也。故或食禄于朝，教授于乡，或为传食之客，或为入幕之宾，皆须计其所业，足以得食而无愧。科名者，食禄之阶也，亦须计吾所业，将来不至尸位素餐，而后得科名而无愧。食之得不得，穷通由天作主。予夺由人做主；业之精不精则由我做主。然吾未见业果精而终不得食者也。农果力耕，虽有饥馑，必有丰年；商果积货，虽有壅滞，必有通时；士果能精其业，安见其终不得科名哉？即终不得科名，又岂无他途可以求食者哉？然则特患业之不精耳。”
几个弟弟道理上明白，但实际行动起来，总是差强人意。如国潢懒散，国荃浮躁，国华受不得挫折，国葆缺乏自制。对此，曾国藩谆谆教导诸弟一要“立志有恒”，一要“专心致志”。他说：“苟能奋发自立，则家塾可以读书，即旷野之地、热闹之场亦可读书，负薪牧豕皆可读书。苟不能奋发自立，则家塾不宜读书，即清静之场、神仙之境皆不能读书。何必择地，何必择时？但自问立志之真不真耳。”又说：“求业之精，别无他法，日专而已矣！谚曰‘艺多不养身’，谓不专也。吾掘井多而无泉可饮，不专之咎也。诸弟总须力图专业。如九弟志在习字，亦不必尽庹他业。但每日习字工夫，断不可不提起精神，随时随事，皆可触悟：四弟六弟，吾不知其心有专嗜否？若志在穷经，则须专守一经；志在作制义，则须专看一家文稿；志在作古文，则须专看一家文集。作各体诗亦然，作试帖亦然，万不可以兼营并骛，兼营则必一无所能矣。切嘱切嘱！千万千万！”
曾国藩关心弟弟们的学业，择学择师均一一参与意见，支持弟弟们赴省城读书，并负担他们的学费。曾国藩在信中对父亲说：“四弟欲偕季弟从汪觉庵师游，六弟欲偕九弟至省城读书。男思大人家事日烦，必不能在家塾照管诸弟，且四弟天分平常，断不可一日无师，讲书改诗文，断不可一课耽搁：伏望堂大人俯从男等之请，即命四弟、季弟从觉庵师，其束脩银，男于八月付回，两弟自必加倍发奋矣。六弟实不羁之才，乡间孤陋寡闻，断不足以启其见识而坚其志向。且少年英锐之气不可久挫，六弟不得入学，既挫之矣；欲进京而男阻之，再挫之矣；若又不许肄业省城，则毋乃太挫其锐气乎？伏望堂上大人俯从男等之请，即命六弟、九弟下省读书。其费用，男于二月间付银廿两至金竺虔家。”
几个弟弟都曾到京城曾国藩身边读书。曾国藩除身体力行，教弟读书外，又为他们捐监，创造科考的条件。但最根本的还是希望诸弟通过读书，明晓事理，修身齐家。他常与诸弟说：“吾细思凡天下官宦之家，多只一代享用便尽，其子孙始而骄佚，继而流荡，终而沟壑，能庆延一二代者鲜矣。商贾之家，勤俭者能延三四代；耕读之家，勤朴者能延五六代；孝友之家，则可以绵延十代八代。我今赖祖宗之积累，少年早达，深恐其以一身享用殆尽，故教诸弟及儿辈，但愿其为耕读孝友之家，不愿其为仕宦之家。”要求诸弟“读书不可不多，用功不可不勤，切不可时时为科第仕宦起见”，看不透这层道理，即便金榜题名高官显宦，终算不得祖父之贤肖，我家之功臣；若能看透此道理，则我钦佩之至。
曾国藩对诸弟既严如父又慈如母，思弟念弟爱弟之情时时溢于言表。他曾说：
“我生平于伦常中，惟兄弟一伦，抱愧尤深。盖父亲以其所知者尽以教我，而我不能以吾所知者尽教诸弟，是不孝之大者也。九弟在京年余，进益无多，每一念及，无地自容。吾每作书与诸弟。不觉其言之长，想诸弟或厌烦难看矣。然诸弟苟有长信与我，我实乐之，如获至宝。……
兄弟和，虽穷氓小户必兴；兄弟不和，虽世家宦族必败。男深知此理，故禀堂上各位大人俯从男等兄弟之请，男之意实以和睦兄弟为第一。……
自忆连年教弟之信不下数万字，或明责，或婉劝，或博称，或约指，知无不言，总之，尽心竭力而已。”
曾国藩鼓励并重视诸弟对自己的批评，多次说：“诸弟远隔数千里外，必须匡我之不逮，时时寄书规我之过，务使累世积德，不自我一人而堕，庶几持盈保泰，得免速致颠危。诸弟能常进箴规，则弟即吾之良师益友也。而诸弟亦宜常存敬畏，勿谓有家人做官，则遂敢于侮人；勿谓己有文学，而遂敢于恃才傲人。常存此心，则是载福之道也”。“诸弟见我之立心制行与我所言有不符处，望时时切实箴规，至要至要”。“凡吾有过失，澄、沅、洪三弟各进箴规之言，余必力为惩改；三弟有过，亦当互相箴规而惩改之”。
他接到曾国潢批评自己“月月书信，徒以空言责弟辈。却又不能实为好消息，令堂上阅兄之书，疑弟辈粗俗庸碌，使弟辈无地可容”的信，回信说：“甚为切当”。“兄读之不觉汗下”。又说：“信中言兄与君子讲学，恐其渐成朋党，所见甚是，然弟尽可放心。兄最怕标榜，常存暗然尚纲之意，断不至有所谓门户自表者也。”还说，信中有“弟之牢骚，非小人之热中，乃志士之惜阴”，读至此，不胜惘然，“恨不得生两翅忽飞到家，将老弟劝慰一番，纵谈数日乃快”。
曾国藩给予诸弟的便是上述“德”与“才”。他特别表示，“我仕宦十余年，现在京寓所有惟书籍、衣服二者。衣服则当差者必不可少，书籍则我生平嗜好在此，是以二物略多。将来我罢官归家，我夫妇所有之衣服，则与五兄弟拈阄均分。我所办之书籍，则存贮利见斋中，兄弟及后辈皆不得私取一本。除此二者，予断不别存一物以为宦囊，一丝一粟不以自私，此又我待兄弟之素志也”。
几个弟弟在曾国藩的教育和影响下，成长为符合儒家标准的人。曾国荃成为统帅湘军的封疆大吏不说，未出仕的曾国潢在家乡操持家务、族务、地方事务，成为有影响力的地方精英，曾国华、曾国葆先后在镇压太平天国的战争中阵亡。
咸丰六年（1856年），太平天国西征军在江西连破八府五十余州县，曾国藩坐困南昌，数月音讯全无。曾国华赴武昌湖北巡抚胡林翼处求援。胡林翼发兵五千交曾国华统帅驰援。从未带过兵的曾国华，连克数县，为南昌解围发挥了重要作用，擢同知，赏戴花翎，成为湘军将领。时曾麟书去世，曾国藩、曾国华兄弟丁忧回籍。然曾国华已过继叔父，只须守制一年，遂于翌年由已订儿女亲家的李续宾奏调复出，襄理李续宾部军务。咸丰八年十月，太平军三河大捷，李续宾部全军覆没。李续宾、曾国华等四百余名文武官员喋血沙场。曾国华骸骨数月无寻，曾国藩忧急哀恸已极，泣血写道：
我奉简书，驰驱岭峤。江北江南，梦魂环绕。卯恸抵昏，酉悲达晓。莽莽舒庐，群凶所窟。积骸成岳，孰辨弟骨。骨不可收，魂不可招。峥嵘废垒，雪渍风飘。生也何雄，死也何苦，我实负弟，茹恨终古。
后来曾国华的遗骸终于找到了，却是一具无头尸。季弟曾国葆因之再次投军，“以报兄仇而雪前耻”，不料身染重疫，病死军中。曾国藩为其写书联云：
英名百战总成空，泪眼看河山，怜予季保此人民，拓此疆土；
慧业多生磨不尽，痴心说因果，望来世再为哲弟，并为勋臣。
曾国藩同样将手足之情给予了一个姐姐、三个妹妹。除小妹染痘早殇外，曾国藩大姐二妹都嫁进了普通人家，家庭不和，经济拮据，无一美满。曾国藩除了开导姐妹，帮助调解家庭纠纷外，总不忘接济她们的生活，哪怕自己还在经常举债之中。他在给弟弟的信中说：“兰姊、蕙妹家运皆舛，兄好为识微之妄谈，为姊犹可支撑，蕙妹再过数年则不能自存活矣。同胞之爱，纵彼无缺望，吾能不视如一家一身乎？”三妹国芝，是他乞假家居时亲自为之择定的婿门，为本邑朱家。国芝夫家较富有，生活无忧，但国芝婚后病弱不堪，三十岁时难产而死。曾国藩叹道：“吾姐妹四人，季者早殇，二长者并穷约不得怡。独朱氏妹所处稍裕，而少遘痼疾，又离娩厄以死，何命之不淑也。”
妻儿（1）
曾国藩结发之妻欧阳夫人，是其师欧阳凝祉之女，比曾国藩小五岁。婚后四年，她生了长子桢第（又名纪第），惜于道光十九年（1839年）染疫早殇。当年年底次子纪泽出世。翌年冬，欧阳夫人携幼子赴京师。在京师连生四女—纪静、纪耀、纪琛、纪纯，后生三子纪鸿，最后生满女纪芬。
自咸丰二年（1852年）始，欧阳夫人带领诸子女在乡下老家生活十余年，直到同治二年（1863年），才随居曾国藩官邸。
其间，曾国藩“以廉率属，以俭持家，誓不以军中一钱寄家用”。欧阳夫人则居勤居俭、任劳任怨操持家务，下厨烧灶、纺纱织布，事事躬亲。曾纪芬晚年回忆道：“先公在军时，先母居乡，手中竟无零钱可用。拮据情形，为他人所不谅，以为督抚大帅之家不应窘乏若此。其时乡间有言，修善堂杀一猪之油，止能供三日之食；黄金堂杀一鸡之油，亦须作三日之用。修善堂者，先叔澄侯公所居，因办理乡团公事客多，常饭数桌。黄金堂则先母所居之宅也。即此可知先母节俭之情形矣。”
勤俭持家、谦和处事，正是曾国藩提倡的持家之道。他在给子弟的信中反复说：
“世家子弟，最易犯一奢字傲字。不必锦衣玉食而后谓之奢也，但使皮袍呢褂俯拾即是，舆马仆从习惯为常，此即日趋于奢矣。见乡人则嗤其朴陋，见雇工则颐指气使，此即日习于傲矣。书称‘世禄之家，鲜克由礼’，《传》称‘骄奢淫佚，宠禄过也’。京师子弟之坏，未有不由于‘骄奢’二字者，尔与诸弟其戒之。至嘱至嘱。”
“凡世家子弟，衣食起居，无一不与寒士相同，庶可以成大器，若沾染