она вернулась с "мастером Кустисом", как Ли в шутку называл их младенца-сына, домашние условия в форте улучшились. Капитан Талкотт женился на Гарриет Рэндольф Хакли, известной всем, включая Ли, как "прекрасная Талкотт", а его овдовевшая сестра и ее дети съехали. Таким образом, Ли смогли переехать наверх, в более просторные помещения, чем две маленькие комнаты, которые они изначально делили, а также получили больше возможностей для уединения. Однако, поскольку Гарриет Талкотт вскоре забеременела, а Мэри Ли родила маленького ребенка, в покоях, отведенных для офицеров-инженеров, должно было быть достаточно домашнего уюта, чтобы удовлетворить даже Роберта Э. Ли. В то время Ли владел четырьмя рабами своей матери, а Мэри привезла одного из Арлингтона, так что недостатка в помощи они не испытывали, хотя Ли и заметил, что они подменяют количество качеством, не сумев предложить разумной альтернативы, кроме как сказать, что Мэри могла бы попробовать нанять того, кто был бы лучше обучен. Конечно, это была именно практическая, а не моральная проблема рабства - у рабов не было особого стимула оттачивать свои навыки, а хозяин оставался с ними на всю жизнь, если только не продавал их или не сдавал в наем.

Гарриет Талкотт должна была сыграть в жизни Ли большую - возможно, даже запредельную - роль. Даже такой преданный биограф, как Эмори М. Томас, называет их отношения "затянувшейся шуточной любовной интрижкой", хотя разделяла ли Харриет эту фантазию, определить трудно. Ли определенно не делал ничего, чтобы сохранить свой интерес к ней в тайне - он дошел до того, что включал в письма мужу Гарриет то, что было равносильно billets-doux, когда они находились вне форта, и в инженерном крыле форта Монро от внимания Мэри не могло ускользнуть, что Ли был очарован Гарриет или, по крайней мере, решил сыграть роль влюбленного слабака для собственного развлечения. Если на портрете Мэри Кьюстис изображено довольно простое лицо с тонкими губами, то портрет Гарриет Талкотт, напротив, демонстрирует несколько пышную красоту: экстравагантно оголенные плечи, рот, напоминающий рот Клары Боу, "девушки 1920-х", со знаменитыми губами-пчелками, длинная изящная шея и копна светлых волос. Судя по всему, она была остроумна и умна.

Несомненно, все это было достаточно невинно - нет никаких признаков того, что Ли когда-либо изменял Мэри с Гарриет или с кем-либо еще, - но это странная сторона характера Ли, эта потребность играть в капризного любовника не только с Гарриет, но и с другими женщинами. Когда Гарриет родила своего первого ребенка, дочь, Ли написал ей восторженную записку, в которой настаивал на том, чтобы его сын "мастер Кустис Ли" стал будущим мужем ее дочери, и даже намекал, окольными путями, что он отец ее девочки, и говорил о "романе дю Кёр" между ним и Гарриет, который был в значительной степени, если не полностью, воображаемым с его стороны. Все это не изменило его любви к Мэри, и он действительно часто писал ей об этих фантазиях, как будто она могла разделить его удовольствие от флирта с другими женщинами. Он писал Мэри, которая в то время была в Арлингтоне, о том, как сопровождал "мисс Джи", добавляя: "Как я щеголял. . . . Как бы ты торжествовала над моим счастьем". Он писал своему старому другу Маккею в Саванну, что красивые девушки заставляют его сердце "раскрываться для них, как цветок для солнца", и еще: "Что касается дочерей Евы в этой стране, то они сформированы в самой поэзии природы, и от них у вас заалеют губы и задрожат пальцы. Они начинают собираться, чтобы опустить свои прекрасные конечности в эту соленую воду" - отсылка к модной в то время вере в морские купания, почти полностью одетые, как средство оздоровления. Романтическая, лирическая сторона Ли была полностью сформирована и сильна, очевидно, не была удовлетворена браком и оставалась неизменной на протяжении всей его жизни. Дело не столько в том, что он был руэ-манке, хотя и это может быть правдой - в конце концов, он был сыном крепкого руэ XVIII века и сводным братом человека, безнадежно погрязшего в сексуальных скандалах, - сколько в том, что он всю жизнь испытывал потребность в восхищении и девичьей болтовне молодых женщин, в обществе которых его обычно сдержанный характер расширялся и обретал новое измерение. Мэри, к ее чести, кажется, понимала, что это не представляет угрозы для их брака. Его друзья-мужчины и современники, такие как Маккей и Талкотт, похоже, тоже понимали это, ведь Талкотт был начальником и близким другом Ли, а также мужем Гарриет, но это та сторона Ли, которая наверняка удивила бы тех, кто сражался под его командованием в Гражданской войне.

Из-за того, что Талкотт часто отлучался по "другим делам", Ли пришлось в основном защищать позицию инженеров в форте Монро от артиллеристов. Вражда (другого слова не подберешь) возникла из-за того, что полковник Юстис считал, что ему не нужны два молодых офицера-инженера, которые будут указывать ему, как достроить форт, предназначенный в первую очередь для размещения артиллерии. Это была типичная военная "война за территорию", в данном случае между "первопроходцами", которые размещали и копали орудия, и "артиллеристами", которые наводили и стреляли из них, продолжавшаяся с XV века.

Ли трудился над деталями контркарповой стены и валов форта Монро, но главной его задачей по-прежнему оставалось заказать по лучшей цене груз щебня и сбросить его в воды Хэмптон-Роудс, чтобы создать прочный фундамент, на котором можно будет построить форт Кэлхун. Каждый груз камня просто заталкивал предыдущий глубже в топкое дно, поэтому видимый прогресс был минимальным, что, несомненно, заставляло артиллеристов сомневаться в том, что форт вообще будет построен, а Ли - в том, что ему придется провести остаток своей карьеры за этим неблагодарным занятием. Единственной хорошей новостью для него стало то, что в июле 1832 года он перестал быть бреве-вторым лейтенантом и был повышен в звании до обычного офицера - офицера армии, а не временного и действующего.

На протяжении 1833 и большей части 1834 года Ли вел одиночные арьергардные бои с артиллерией, отстаивая право инженеров завершить работы по строительству форта Монро и Рип-Рапса. Он делал это как на месте, так и в Вашингтоне, в Военном министерстве, где слои интриг были еще толще и могли разрушить его карьеру на этом раннем этапе, равно как и карьеру Талкотта. Ситуация достигла апогея, с точки зрения Ли, когда Талкотт был переведен на реку Гудзон, а Ли был вынужден перебраться в импровизированные жилища на Рип-Рапсе - триумф артиллеристов -