Жизнь младшего брата императора, эрцгерцога Карла-Людвига, (1833–1896) вроде бы не выделялась ничем особенным. Даже его мать, уже известная читателю эрцгерцогиня Софи, признавала посредственность сына и в открытую заявляла:

— Интересным ему не быть никогда!

Тем не менее, именно ему было суждено стать отцом и дедом двух престолонаследников, завершивших историю пребывания династии Габсбургов на троне. Подростком Карл-Людвиг умилял окружающих невинной влюбленностью в свою очаровательную кузину Сисси, будущую императрицу, — тогда ей было всего 12 лет. Между ними даже завязалась безобидная переписка, принц делал ей трогательные подарки. Со временем переписка увяла; как известно, Карла обошел брат Франц-Иосиф, и в дальнейшем его семейная жизнь сложилась не особенно удачно. По молодости его женили на двоюродной сестре, принцессе Маргарите Саксонской, но та после двух лет супружеской жизни в возрасте всего 18 лет умерла от тифа, не успев обеспечить рождение наследника. Молодому вдовцу быстро подыскали замену в виде итальянской принцессы Марии-Аннунциаты с изрядной долей габсбургской крови. Невеста страдала не только тяжелым заболеванием легких, но еще и эпилепсией, причем приступ этого недомогания поразил ее прямо во время свадебных торжеств. Брак продлился всего 9 лет, но хворая эрцгерцогиня успела родить 4 детей, с которыми практически не общалась, боясь заразить их. По иронии судьбы, именно потомкам этой болезненной женщины выпала судьба продолжателей династии.

Старший сын этой четы Франц-Фердинанд, после трагической смерти принца Рудольфа и кончины отца, занял место наследника престола: именно его убийство совместно с супругой стало поводом для начала Первой мировой войны. Второй сын, эрцгерцог Отто, скончавшийся в 1906 году, стал отцом последнего императора Австро-Венгерской империи, Карла I. Третий сын Фердинанд-Карл дал повод для последнего скандала с выходом из императорского дома. В 1907 году он без разрешения императора тайно женился в Швейцарии на своей сожительнице с 1902 года Берте Чубер, дочери известного австрийского математика и профессора высшей школы. Пару лет это событие удавалось держать в секрете, но затем история выплыла на поверхность, и император разразился громами и молниями. Франц-Иосиф приказал племяннику принять фамилию рядового обывателя, вернуть орден Золотого руна, выйти из армии, выехать за границу, а имя его вычеркнули из всех государственных справочников. Фердинанд-Карл принял фамилию Бург и переехал сначала в Лугано, а затем в Мюнхен. Чтобы он не слишком распускал язык в прессе, ему заплатили роскошные отступные в сумме 250 000 крон, что позволило отщепенцу вести безбедный образ жизни вплоть до его смерти в 1915 году.

Сам эрцгерцог Карл-Людвиг, не игравший особой роли как младший брат императора, в молодости, тем не менее, пытался заняться политикой. Его назначили наместником Тироля, но он счел права своих полномочий сильно ограниченными и подал в отставку, посвятив свою жизнь, как нейтрально выражалась пресса, «покровительству искусств и наук». Императорская семья охотно направляла его на всяческие мероприятия, где требовалось представительство от Габсбургов, отчего острые на язык венцы наградили его прозвищем «выставочный эрцгерцог».

Мать уверяла, что воспитала Карла-Людвига преданным католиком, за моральный облик которого у нее опасений нет. Графиня Лариш же в своих воспоминаниях назвала его «тучным стариком с животными инстинктами». Также и покинувший ряды династии эрцгерцог Леопольд-Сальватор, о котором речь пойдет ниже, был невысокого мнения об этом родственнике. По его уверению, Карлом-Людвигом владела «единственная страсть к старому вину и молодым женщинам, лошадям и охоте».

Видимо любовь к прекрасному полу не позволила ему долго маяться во вдовцах, и после смерти второй супруги Карл-Людвиг женился в третий раз на Марии-Терезии Португальской, очень красивой, неглупой и дипломатичной даме, на 22 года моложе него. Она чистосердечно заботилась об осиротевших детях мужа от второго брака, не делая никакой разницы между ними и своими двумя дочерьми. Мария-Терезия пользовалась прекрасной репутаций в императорском семействе. Невзирая на собственные постоянные измены, Карл-Людвиг стал бешено ревнив, на всех молодых офицеров смотрел как на потенциальных соблазнителей и нередко распускал руки. В один из последних дней своей жизни он заявился домой пьяным в компании столь же хмельных людей и дам полусвета. Когда жена попыталась урезонить его, супруг пустил в ход плеть для верховой езды. Подобное поведение шло вразрез с его чрезвычайно религиозными настроениями, которые под конец жизни только усиливались. В старости он даже разъезжал по улицам Вены, благословляя прохожих крестным знамением, что вообще-то подобало только высшим церковным иерархам. Под конец жизни Карл-Людвиг совершил паломничество в Египет и Палестину, где напился воды из Иордана и по возвращении на родину через некоторое время скончался от тифа.