Не успел Ли прибыть в гостиницу в Сан-Антонио, как его окружили вооруженные люди в штатском. Жена друга, случайно проходившего мимо, сообщила ему, что генерал Твиггс только этим утром сдал свое командование и что все федеральные войска теперь "военнопленные". Ли был потрясен и возмущен тем, что с ним могут обращаться как с военнопленным. Он предусмотрительно переоделся в гражданскую одежду и отправился в штаб, где обнаружил, что сепаратисты уже находятся у руля и не настроены обращаться с ним с той вежливостью, на которую он рассчитывал. Он объяснил, что его верность - Вирджинии и Союзу, в таком порядке, и что он возвращается домой, но "техасские комиссары", как они себя называли, не успокоились. Если Ли согласится сложить с себя полномочия и принять службу в армии Конфедерации, сказали ему, он сможет свободно вернуться домой со своими вещами, но если нет, то ему придется оставить их.

Это кажется странным решением. Если техасские комиссары были готовы отпустить его домой, зачем было удерживать его багаж? Ли был в ярости и немедленно отправился в дом своего друга Чарльза Андерсона, юриста, открытого юниониста и аболициониста, который впоследствии стал полковником Девяносто третьей добровольческой пехоты Огайо, а затем губернатором штата Огайо. О Ли многое говорит тот факт, что он дружил с таким человеком, как Андерсон, который был с ним категорически не согласен, хотя на данном этапе, во всяком случае, он и Андерсон были одного мнения о техасских сепаратистах. Возможно, из-за того, что он был зол, Ли откровенничал о своей позиции больше, чем с кем-либо еще, кроме своей семьи. "Поведение этих людей [техасских комиссаров] не может отвратить меня от чувства долга. Я по-прежнему считаю... что моя лояльность Виргинии должна превалировать над лояльностью федеральному правительству. И я так и заявлю о себе в Вашингтоне. Если Вирджиния будет поддерживать Союз, то и я буду поддерживать, но если она отделится, то я пойду за своим родным штатом с мечом, а если понадобится, то и с жизнью". Хотя он сказал другому другу, что планирует вернуться домой и посадить кукурузу, и тогда в мире станет "на одного солдата меньше", он не мог представить, что Вирджиния будет нейтральной, или что его оставят в покое, чтобы возделывать свой сад. Ли попросил Андерсона придержать его вещи и переправить их в Арлингтон, на что Андерсон согласился. Решив эту проблему, Ли отправился домой через Индианолу (в то время это был процветающий техасский морской порт, но после Гражданской войны он превратился в город-призрак) и Новый Орлеан.

Он прибыл в Арлингтон 1 марта, за три дня до инаугурации Авраама Линкольна - первой президентской инаугурации в Вашингтоне со времен Томаса Джефферсона, на которой не присутствовал ни один из членов семьи Ли или Кэстис.

Хотя Мэри Ли была сильно больна ревматоидным артритом и иногда производила впечатление беспомощной южной красавицы, на самом деле она была смелой и откровенной женщиной, которая не разделяла ни нелюбви своего мужа к конфронтации, ни его относительно умеренных взглядов на растущую пропасть между Севером и Югом. Медицина в середине девятнадцатого века была такой, какой она была, и единственное лечение, которое врачи могли назначить для ее состояния, - это "принимать воды", то есть купаться или пить воду из минеральных источников, которых в Вирджинии было и остается великое множество, включая Горячие источники, Теплые источники, Белые серные источники и Рокбриджские ванны. Джонс Спрингс находился за границей, в Северной Каролине. Мэри посетила их все в поисках облегчения. Несмотря на то что путешествия были для нее мучительно трудными, ей удалось побывать на удивительном количестве курортов; А во время пребывания Ли в Сан-Антонио ей даже удалось добраться до Канады, в Колодец Святой Екатерины, расположенный к северу от Ниагарского водопада, - "долгое путешествие через Балтимор, Нью-Йорк и Эльмиру", которое она совершила в компании своего сына Кьюстиса, дочери Агнес и кузины Марки Уильямс, оставив дочь Энни присматривать за слугами в Арлингтоне и отправлять Милли (младшего ребенка Ли) в школу-интернат. Даже с тремя родственниками, помогавшими Мэри, путешествие не было легким, но, похоже, ей понравились главные живописные достопримечательности - Ниагарский водопад и озеро Онтарио, хотя даже более полутора веков назад она жаловалась на множество зданий вблизи водопада и коммерцию. Ее поразило большое количество беглых рабов, живших в Канаде, по другую сторону границы с Соединенными Штатами, и ужасные условия, в которых они жили. "Мне сказали, - писала она Энни, - что они очень страдают здесь в долгие холодные зимы". Возможно, к счастью, она не узнала среди них ни одного знакомого лица.

Оставив Агнес и Марки в Нью-Йорке, она вернулась в конце лета, несмотря на "все более поляризованную атмосферу" Севера. Маловероятно, что Мэри скрывала свои собственные чувства по этому поводу. Она была потрясена угрозами южан об отделении - не зря же она была сводной правнучкой Джорджа Вашингтона, - но не меньше ее возмущали растущие аболиционистские настроения северян, с которыми она встречалась. Даже когда Мэри Ли вернулась домой в Вирджинию, она обнаружила, что чувства северян тоже очень сильно возросли. Поэтому, когда Кэстису "пришлось отлучиться на несколько дней", он попросил своего сослуживца по военному министерству Ортона Уильямса, брата Марки, остаться в Арлингтоне, "чтобы присмотреть за нами, одинокими женщинами", как выразилась миссис Ли.

По мере того как штат за штатом отделялись друг от друга, и Кэстис Ли, и Ортон Уильямс стремились уволиться из армии США и поступить на службу в формирующуюся армию Конфедерации. Это вызвало гневное письмо Ли - именно такой поступок он не совершил бы сам и не хотел, чтобы совершил кто-то из его семьи; возможно, это способствовало формированию у него мнения о том, что Ортон Уильямс - горячая голова, что впоследствии будет иметь серьезные последствия как для Уильямса, так и для семьи Ли. Он был полон решимости хранить верность Соединенным Штатам до тех пор, пока Вирджиния не отделится, или если только не отделится, и по возвращении домой решительно пресекал любые вольные разговоры и спекуляции на эту тему. Это, однако, не помешало Мэри высказать свое твердое мнение, что, победив на выборах, Линкольн должен был уйти в отставку до вступления в должность, "если бы он был настоящим или бескорыстным патриотом", в качестве примирительного жеста по отношению к Югу: "Ничто из того, что он может сделать сейчас, - твердо продолжала она, - не встретит благосклонности со стороны Юга".

Даже если Ли был согласен с ней - а