Семья с нетерпением ждала приезда Ли домой в Арлингтон, но, как и многие другие ветераны, он прибыл неожиданно, опоздав на присланную за ним карету. Первой его узнала семейная собака Спек, "черно-подпалый терьер"; затем Ли бросился в прихожую, полную детей, поднял и поцеловал не того, кто был другом его сына Роберта. Как ни странно, первым воспоминанием Роберта Э. Ли-младшего, которому тогда было пять лет, о своем отце было именно это немного неловкое событие. Спустя годы он писал: "После минутного приветствия окружающих отец протиснулся сквозь толпу и воскликнул: "Где мой маленький мальчик?" Затем он поднял на руки и поцеловал - не меня, своего собственного ребенка в лучшем платье, с чистым лицом и уложенными кудрями, а моего маленького товарища по играм Армистеда! Больше я не помню никаких обстоятельств, связанных с тем временем, кроме того, что я был потрясен и унижен". Несомненно, Роберт вскоре оправился от этого, потому что через несколько дней Ли взял его с собой в Балтимор, чтобы навестить миссис Маршалл (сестру Ли), а затем "спустился на пристань", чтобы посмотреть, как разгружают пони, которого он купил для мальчика в Мексике: он был "чисто белый, пяти лет и около четырнадцати рук в высоту", и его назвали Санта-Анна. Санта-Анна и Роберт быстро стали неразлучными спутниками. Вскоре прибыл верный Джим Коннелли с кобылой Ли Грейс Дарлинг - Ли выбрал более длинный и медленный путь домой, вверх по Миссисипи от Нового Орлеана до Уилинга, чтобы избавить лошадь от "как можно большего раздражения и усталости, ведь она уже перенесла столько страданий на моей службе". Теперь Ли начинал каждый день, когда был дома, с посещения Грейс Дарлинг в ее стойле, "всегда гладил ее и разговаривал с ней с любовью".

Вскоре Роберт понял, что его отец отличается от других мужчин, и не только любовью к животным. "С того самого раннего времени, - писал он, - я начал впечатляться характером моего отца... . . Все члены семьи уважали, почитали и любили его как само собой разумеющееся, но меня начало осенять, что и все остальные, с кем я был знаком, относились к нему с большим уважением. В свои сорок пять лет он был активен, силен и красив, как никогда. . . . Он всегда был весел и жизнерадостен с нами, маленькими, резвился, играл и шутил с нами. Хотя он был таким радостным и привычным для нас... Я всегда знал, что ослушаться отца невозможно. Я чувствовал это в себе, никогда не задумывался почему, но был совершенно уверен, что, когда он отдает приказ, его нужно выполнять. . . . Когда они с матерью уходили вечером... нам часто разрешалось сидеть и провожать их; отец, как я помню, всегда был в полной форме, всегда готов и ждал маму, которая, как правило, опаздывала. Он укорял ее ласково, игриво и со светлой улыбкой. ...и я засыпал с этой прекрасной картиной в голове, с золотыми погонами и всем остальным".

Конечно, дети нередко боготворят своего отца, но когда Роберт написал это, он был уже мужчиной средних лет и бывшим капитаном Конфедерации, чей отец, по иронии судьбы, не узнал его во второй раз, на этот раз во время битвы при Антиетаме (или Шарпсбурге) в 1862 году. Ли, командовавший тогда армией Северной Вирджинии, подъехал к батарее, которая "сильно пострадала, потеряв много людей и лошадей", и приказал ее капитану немедленно отвести на фронт оставшихся невредимыми людей и оставшиеся орудия, не подозревая, что один из стоявших там изможденных боями артиллерийских рядовых - его собственный сын Роберт.

Картину семейной жизни, созданную Робертом, подтверждают все остальные члены семьи Ли, а также бесчисленные люди, знавшие Ли. Ли, пунктуальный до мелочей, всегда стоит на месте; Мэри, вечно опаздывающая и, несмотря на помощь преданных горничных, слегка растрепанная, не хватает какого-то предмета, что влечет за собой очередную задержку, пока кто-то возвращается, чтобы найти его. Их жизнь вращалась вокруг детей, что кажется очень современным - ведь в конце восемнадцатого века и на протяжении большей части девятнадцатого дети, какими бы любимыми они ни были, не были тем центром семейной жизни, каким они стали в Америке в двадцатом веке. На границе и в бедных слоях населения смертность среди младенцев и маленьких детей заставляла матерей не решаться слишком привязываться к ним, пока они были маленькими, а среди богатых детей держали подальше от глаз в детской, под присмотром няни. (Сын Ли Роберт упоминает свою "мамочку" Элизу, рабыню из семьи Ли, как важную фигуру в его детстве). Ли, напротив, казалось, постоянно жили в окружении своих семерых детей, полностью поглощенные их воспитанием, играми и образованием.

Когда Ли вернулся домой после почти двухлетнего пребывания на войне, его старшему мальчику, Джорджу, известному в семье как "Бу", было шестнадцать; дочери Мэри - тринадцать; сыну Уильяму, "Руни", - одиннадцать; Энн, "Энни", - девять; Элеоноре Агнес - семь; Роберту, "Робу", - пять; а Милдред, которую родители обычно называли "Милли" или "Драгоценная жизнь", было два года - большая семья даже по стандартам раннего викторианства. Ли, чья потребность направлять и наставлять людей в любом случае была очень развита, относился к отцовству серьезнее, чем к чему-либо другому в своей насыщенной жизни, и его письма жене Мэри, когда он отсутствовал дома, полны подробных добрых советов по воспитанию детей, большую часть которых она игнорировала. Письма, которые он посылал самим детям, как только они научились читать, также были полны хороших советов.

На фотопортретах, сделанных в этот период жизни Ли, он выглядит необычайно молодо для сорокалетнего мужчины и так же красив, как и прежде - беловолосому патриарху не было и десяти лет.

Современному читателю письма Ли к семье могут показаться преувеличенно набожными - он постоянно благодарит Бога или оставляет большие и малые дела в руках Божьих, но важно признать глубину, искренность и важность религиозной веры Ли. Это было не жеманство, не вопрос стиля, не попытка навязать благочестие своим детям или другим людям; это была реальность, лежащая в самой основе его существа. Когда он пишет Марии: "Я молю Бога, чтобы Он наблюдал и направлял наши усилия по охране нашего дорогого маленького сына", или одному из своих детей: "Будь правдивым, добрым и щедрым и искренне моли Бога, чтобы Он дал тебе возможность соблюдать Его заповеди "и ходить в том же во все