Обязанности Ли в военном министерстве не были обременительными, и вскоре он полюбил генерала Гратиота, начальника инженеров, уроженца Луизианы, героя войны 1812 года (в его честь названы не менее трех городов в Огайо, Висконсине и Мичигане), который проявлял личный интерес ко всем своим офицерам и их далеко идущим проектам. Несмотря на свое восхищение Гратиотом, Ли испытывал легкое недовольство скучной рутиной офисной работы и боролся с сомнениями относительно своей самооценки и будущего в инженерном корпусе. Перспектив продвижения по службе почти не было, жалованье и надбавки второго лейтенанта были до смешного низкими, а увиденного в борьбе за то, чтобы выбить из Конгресса хоть немного денег даже на самые необходимые и полезные проекты, хватило, чтобы Ли на всю жизнь запятнал свое отношение к политике и политикам. Поскольку Гратиот часто отсутствовал на инспекциях проектов корпуса, Ли стал эквивалентом офис-менеджера генерала, которому помогал его верный клерк из форта Монро. Количество корреспонденции, бумажной работы и волокиты, возникающей при выделении даже самых незначительных правительственных средств, делает его работу почти диккенсовской, поэтому, должно быть, он испытал облегчение, когда весной 1835 года Гратиот отправил Ли помочь своему старому другу Талкотту уладить пограничный спор, который перерос в вооруженное противостояние между ополченцами штата Огайо и территории Мичиган.

Истоки этого спора можно отнести к 1787 году, и он касался узкой полосы земли площадью почти 500 квадратных миль, ширина которой варьировалась от 5 до 8 миль. Первоначальная пограничная линия через Нижний полуостров Мичигана была определена Конгрессом еще до того, как появилась точная карта этой территории, да и вообще до того, как туда добрался хоть один белый человек, кроме случайных трапперов, и последующие попытки провести более точную съемку, казалось, мало соответствовали тому, что было на месте. Толедская война", как ее стали называть по имени крупного города на спорной территории, закончилась лишь несколькими выстрелами в воздух (которые участники возвели в ранг "битвы при Филлипс Корнерс") и ранением мичиганского помощника шерифа мальчиком с перочинным ножом, Но с мая по октябрь 1835 года Талкотт и Ли бродили по лесам и озерам этого района, пытаясь провести научное исследование, которому угрожали лишь плотные тучи "москитов", как называл их Ли, и случайные змеи. Ли заметил, что если в этой глуши и были какие-то обитатели, то он их никогда не встречал, и хотя в какой-то момент он достиг острова Пели, Онтарио, расположенного посреди озера Эри примерно напротив Кливленда, он тоже оказался необитаемым, если не считать одной змеи в полуразрушенном, заброшенном маяке. Очевидно, ни пейзажи, ни сами Великие озера не произвели на него особого впечатления.

На невысокое мнение Ли об этой местности, возможно, повлияла продолжительность исследования, которое растянулось с первоначально запланированного одного месяца до пяти, а также тот факт, что Мэри была беременна и родила их второго ребенка, дочь, в июле, пока он отсутствовал. Ребенок был здоров, но роды у Мэри были тяжелыми, и ее выздоровление ознаменовалось первой из многих болезней, от которых она будет страдать всю жизнь и которые в конце концов сделают ее инвалидом. Она, очевидно, написала Ли и попросила его вернуться домой, так как в конце августа он сурово ответил ей из Детройта: "Но почему вы настаиваете на моем немедленном возвращении и самым решительным образом склоняете меня к тому, чтобы попытаться освободиться от исполнения долга, возложенного на меня моей профессией, ради чистого удовлетворения моих личных чувств?" Очевидная суровость этого письма может быть результатом нежелания Мэри откровенно рассказать ему о том, как она больна, ведь когда он вернулся домой в начале октября, он был встревожен ее состоянием, которое он объяснил тем, что она "слишком рано стала активной", хотя ее симптомы, похоже, были более серьезными, чем те, которые могли быть вызваны только активностью, и могли включать "какую-то тазовую инфекцию". В соответствии с героическими медицинскими традициями того времени, врачи пустили ей кровь, вскрыв вену, и провели "обхватывание" - болезненную процедуру, которая заключалась в нагревании маленьких стеклянных чашек на огне и прикладывании их к коже - без каких-либо улучшений. В конце концов два больших "абсцесса, образовавшихся у нее в паху, лопнули" (на самом деле второй абсцесс вскрыл тот же хирург, который делал кровопускание и прикладывал кубок); это вроде бы помогло, но Мэри еще некоторое время оставалась слабой и прикованной к постели, а дети заболели "коклюшем", после чего их мать подхватила свинку. Мэри родила еще пятерых здоровых детей, но с этого момента ее собственное здоровье всегда было главной заботой мужа, хотя единственное, что он мог для нее сделать, - это периодически возить ее в тот или иной из многочисленных теплых "минеральных источников" Вирджинии, которые в XIX веке считались восстанавливающими. Вероятно, светская жизнь на этих курортах была для нее не менее полезной, чем вода, и они стали регулярной частью распорядка дня семьи Ли. Частые беременности, несомненно, сказались на ее здоровье, хотя в те времена они, конечно, считались нормальными (королева Виктория установила стандарт для англоязычного мира, родив девять детей), и она становилась все более калекой из-за ревматоидного артрита.

В течение всего 1836 года Ли был измотан болезнями Мэри и утомительной работой. Лихой молодой выпускник Вест-Пойнта превратился в перегруженного работой военного бюрократа и мужа, постоянно беспокоящегося о здоровье жены и детей. "Я никогда не видел человека, настолько изменившегося и опечаленного", - заметил один из его родственников. Ли всерьез подумывал об уходе из армии и жаловался своему другу Талкотту на собственные "проволочки" и невезение. Его не утешило повышение в звании со второго до первого лейтенанта - скромный шаг вперед для человека, который служил в армии почти семь лет. Сам Талкотт уволился из армии и начал успешную карьеру инженера-строителя, но никто не потянулся за Ли в так называемый частный сектор, а он, казалось, не мог сделать первый шаг - в конце концов, армия была его жизнью с 1825 года, и он никогда не думал о чем-то другом. Медленное (но временное) улучшение здоровья Мэри и природные красоты Арлингтона немного приободрили Ли и подтолкнули его к тому, чтобы описать Талкотту виргинские пейзажи, которые он любил: "Страна сейчас выглядит очень мило, - писал он почти лирически в мае 1836 года, - а холм в Арлингтоне покрыт зеленью и благоухает цветами деревьев, цветами сада, медоносными сосенками, желтым жасмином и т. д.". Этот кокетливый Ли сильно