Среди многочисленных внуков Сергея Васильевича можно отметить князя Николая Сергеевича (1784–1842), действительного статского советника, гофмейстера, с 1833 г. вице-президента Кабинета Его Императорского Величества. Будучи шефом 1-го пехотного полка, князь сражался при Бородине. В 1830-х гг. недолго управлял императорскими стекольными и фарфоровыми заводами. Князь был женат на графине Марии Алексеевне Бобринской, внучке Екатерины II и Григория Орлова. Жизнь Николая Сергеевича оборвалась в результате покушения своего бывшего подчинённого, ранее уволенного им со службы.

Брат Николая Сергеевича – князь Сергей Сергеевич (1795–1852), обер-гофмейстер (с 1844), в 1829–1833 гг. занимал должность директора императорских театров. За время его управления было создано театральное училище и открыт Александринский театр в Петербурге. Позднее Гагарин служил в гофинтендантской конторе. Его сын (от брака с графиней Изабеллой Валевской) тоже Сергей (1832–1890), шталмейстер двора, был знатоком искусства и коллекционером. В 1860 г. его избрали почётным членом Императорской академии художеств.

Внучка князя Николая Сергеевича – княжна Софья Николаевна Гагарина была женой графа Михаила Николаевича Муравьёва (-Виленского, 1845–1900), министра иностранных дел (с 1897).

Ещё один внук Сергея Васильевича (сын Павла Сергеевича) – князь Павел Павлович (1789–1872) в течение многих лет служил в Сенате, с начала 1840-х гг. действительный тайный советник и член Государственного Совета. Он получил известность как член Секретного (затем Главного) комитета по крестьянскому делу, который разрабатывал планы отмены крепостного права. В комитете князь занял консервативную позицию, отстаивая интересы помещиков. Именно по его инициативе была принята статья о так называемом дарственном наделе. Суть её заключалась в том, что по взаимному желанию помещик мог передать крестьянам ¼ часть «высшего» надела даром, сохранив права на всю остальную землю. Этот надел впоследствии получил название «сиротского» или «гагаринского». В то же время Гагарин выступил горячим сторонником Судебной реформы 1864 года. С этого года князь возглавил Комитет министров, а также Государственный Совет (на последнем посту пробыл недолго, с 1865 г. председателем Государственного Совета стал великий князь Константин Николаевич). В 1866 г. Гагарин был председателем Верховного уголовного суда по делу Д.В. Каракозова, совершившего покушение на Александра II. Умер Павел Павлович в чине действительного тайного советника 1-го класса (высший по гражданской службе табели о рангах).

Наконец, нельзя не упомянуть и о другом внуке Сергея Васильевича – князе Григории Ивановиче (1782–1837). С 1797 г. он находился на дипломатической службе. Состоял при дипломатических миссиях в Вене, Константинополе и Париже, в 1820—1830-х гг. являлся посланником в Риме и в Мюнхене. Ещё в Московском благородном пансионе, где Гагарин учился одновременно с В.А. Жуковским, он начал пробовать силы в литературе. Оставил несколько переводов, но потом от писательской деятельности отошёл. Тем не менее он живо интересовался культурной жизнью России, помогал молодому Ф.И. Тютчеву, покровительствовал живописцу С.Ф. Щедрину, поддерживал дружеские связи с Жуковским, Вяземским, Олениным, Брюлловым и другими видными литераторами и художниками. Гагарин был почётным членом литературного общества «Арзамас», а в 1827 г. избран почётным членом Академии художеств.

Племянник Григория Ивановича – князь Иван Сергеевич (1814–1882), рано выйдя в отставку, перебрался в Париж, где перешёл в католичество и вступил в орден иезуитов. Написал несколько нашумевших публицистических работ по вопросам церкви. Ему необоснованно приписывалось участие в составлении писем Пушкину, послуживших причиной дуэли поэта с Ж. Дантесом.

Сын Григория Ивановича Григорий Григорьевич (1810–1893) – пожалуй, самый известный из князей Гагариных. Состоял на дипломатической, а затем на военной службе, достиг чина генерал-майора, принимал участие в военных действиях на Кавказе. Но настоящим его призванием была живопись. Князь прославился как талантливый художник (в молодости брал уроки у Карла Брюллова), дружил с Лермонтовым, иллюстрировал его произведения. В 1859–1872 гг. – вице-президент Академии художеств. Среди его картин, хранящихся в Третьяковской галерее, представляет интерес полотно «Встреча генерала Клюкке фон Клюгенау с Шамилем», написанное в 1849 г. Князь расписал несколько храмов, в том числе древний Сионский собор в Тифлисе (эта роспись была уничтожена уже в наши дни, когда Грузия обрела независимость).

Князь Григорий Григорьевич Гагарин.

Художник К.П. Брюллов. 1829 г.

Старший сын Григория Григорьевича – также Григорий Григорьевич (1850–1918), юрист по образованию, состоял депутатом I Государственной думы от партии октябристов; младший – генерал-майор Андрей Григорьевич (1855–1921) окончил физико-математический факультет Петербургского университета и Михайловскую артиллерийскую академию. Работал на Петербургском оружейном заводе, в течение нескольких лет был первым директором Петербургского политехнического института. Видному инженеру-конструктору князю Гагарину принадлежит авторство ряда станков, приборов и приспособлений (в том числе пресса Гагарина, предназначенного для механических испытаний металлов). Один из его сыновей, инженер Пётр Андреевич, погиб в 1938 г. во время сталинских репрессий. Внук Андрея Григорьевича – князь Андрей Петрович Гагарин (1934–2011), доктор физико-математических наук, профессор Санкт-Петербургского государственного технического университета, стоял у истоков возрождения дворянского движения в Петербурге и возглавлял Петербургское губернское дворянское собрание.

Племянник художника – князь Григорий Евгеньевич Гагарин (1840–1903) по матери приходился внуком тайному советнику Александру Скарлатовичу Стурдзе (ум. в 1854), представителю древнего молдавского рода. В марте 1848 г. Григорию Евгеньевичу было дозволено принять фамилию князя Гагарина-Стурдза, унаследовав имение деда в Бессарабской губернии. Но князь сыновей не имел, и потому род Гагариных-Стурдза, не успев начаться, угас.

Из младшей линии третьей ветви рода Гагариных происходил князь Гавриил Петрович Гагарин (1745–1808), действительный тайный советник, сенатор, при Павле I член Государственного Совета, главный директор Государственного заёмного банка, затем президент Коммерц-коллегии, а при Александре I – член Непременного совета. Владелец винокуренных заводов, князь поставлял казне вино, но из-за его не слишком высокого качества («с дурным запахом и подозрительною пеною») одно время при Екатерине II Гагарину запретили являться «ко двору и в публику». В 1770-х гг. Гавриил Петрович занял ведущее положение среди петербургских масонов, получив высшие степени шведской системы. В 1780 г. назначен председателем Великой национальной ложи и префектом капитула ложи «Феникс», почётный член ложи «Гармония», основанной Н.И. Новикóвым, в 1783 г. возглавил ложу «Сфинкс». Последние годы жизни князь провёл в Москве и своём имении Богословском (Могильцах) Дмитровского уезда.

В истории масонства оставил след и сын Гаврииила Петровича – князь Павел Гавриилович (1777–1850). В молодости он служил адъютантом у Суворова, отзывавшегося о нём с похвалой, прошёл военными дорогами Итальянского похода, в 1799 г. был произведён в генерал-адъютанты. В феврале 1800 г. Павел Гавриилович женился на фаворитке Павла I Анне Петровне Лопухиной (1777–1805), чем упрочил своё положение. При Александре I князь выполнял ряд дипломатических поручений, в начале 1810-х гг. являлся директором Инспекторского департамента Военного