O Duque de Caxias só teve um neto, José de Lima Carneiro, nascido em 16 de julho de 1858, no hoje município de Quissamã- RJ, quando seu avô foi Ministro ou Chefe do Governo do Brasil pela primeira vez e aprovou lei subordinando o Exército ao Ajudante General e não mais diretamente ao Ministro da Guerra.

Era seu único Neto que nasceu 4 anos antes da morte de seu único filho homem aos 13 anos, o cadete Luiz Alves de Lima e Silva.

E seu neto ficou sob sua guarda no Rio, a partir de 1866, quando foi matriculado no Colégio D. Pedro II e nomeado mais tarde moço fidalgo de Casa Imperial.

Em 1941, aos 83 anos prestou depoimentos a Revista Nação Armada sobre suas recordações do ilustre avô materno.

Recordou que quando aluno Engenharia Civil da Escola Central do Exército no Rio, curso que não concluiu, nas férias acompanhava o avô na fazenda Quissamã em longas cavalgadas. E prossegue. "Quando meu avô veio de Paraguai descansou em Quissamã, hoje fazenda Machadinha. Trouxe da guerra três velhos cavalos, que eram suas montadas preferidas e cuidadas pelo sargento Liberato, seu fiel bagageiro. Chamavam-se Moleque, Douradilho e Aedo. O Aedo meu avô presenteou ao Marques da Gávea, seu primo irmão. O Moleque morreu e foi enterrado na fazenda. Morreu por causa de um colono da fazenda que zeloso para o preparar para o passeio matinal a montada predileta do meu avô, deu-lhe um banho de querozene. O Douradilho ficou sendo então a montada predileta do meu avô.

Depois da morte da minha avó, informou que o avô jamais tirou o luto. E que e envergava sempre sobrecasaca no lar, na sua casa no Engenho Novo Velho, na Corte e nas fazendas Santa Mônica e Quissamã das filhas. O neto informa que ele se alimentava bem e preferia alimentos da cozinha gaúcha e que o Rio Grande do Sul, pelo qual era senador e o presidira duas vezes, se constituía "a sua menina dos olhos e a toda hora falava das coisas do Rio Grande, de seus homens e possuía um sotaque gaúcho. "

Informa que o avô encantava-se com a música e que para uma comadre sua, esposa de um grande amigo, pedia com freqüência que ela tocasse valsas e mazurcas no piano de cauda que possuía em seu palacete na Tijuca, onde funcionaria o Colégio Lafayete.

Revelou que o avô gostava de brincar com ele chamando-o de sacristão, desde que tinha 13 anos, quando o avô retornou da Guerra do Paraguai e passou uma temporada em Quissamã e aos domingos ela ajudava na missa na capela da fazenda, celebrada pelo capelão do avô. E informou que em sua fazenda possuía muitas relíquias, cartas e objetos de uso do avô.

Ao final, aos 83 anos, informou que em atos não oficiais o avô assinava Luiz Alves de Lima e que então vivia dessas lembranças e de ver que o Exército Brasileiro, com o culto da memória e exemplos de seu avô "se fortalece e se aperfeiçoa para nunca desmerecer o passado do seu antigo chefe hoje seu patrono."

E acrescentou :"Não ingressei na carreira militar porque meus pais argumentaram que já existiam vários soldados na família, mas na Revolução de 93 me alistei num Batalhão Patriótico, em Macaé com 35 anos, Meus amigos antigos ao ver-me de espada a cinta, falavam que eu era muito parecido com meu avô. E eu sentia grande orgulho com isso e confesso que tenho muitas saudades daquela farda do Batalhão Patriótico de Macaé e sobretudo da mencionada semelhança física com meu saudoso avô.

Todos os anos eu passo aqui no Rio de Janeiro a Semana da Pátria, entre amigos e parentes, assistindo com o coração transbordando de alegria, confiante no futuro da minha Pátria, na justiça dos homens "e no nosso Exército, ao qual estou ligado pelo sangue e pela glória de meus antepassados."

Em 1955 existia na Fazenda Quissamã a única pessoa viva que privara com Caxias era D. Maria Piedade Queiroz Matoso que informou que a morte de Caxias foi precipitada pelo morte da esposa e que possuía olhos azuis", conforme reportagem da Revista Agulhas Negras de 1955, da minha turma, sob o titulo: Duque de Caxias.

O neto de Caxias foi fazendeiro em Quissamã onde fundou em 1887, sete anos após o avo desaparecer, a Fazenda Santa Leopoldina, hoje denominada Palmeiras.

Em 1894 era um dos maiores acionistas da Companhia Engenho Central de Quissamã, pertencente a sua família. Em 1906 se estabeleceu em Macaé onde desfrutou de grande prestigio e estima social. Construiu notável residência chamada Solar do Monte Elysio que se tornou atração turística, o qual segundo o historiador Antônio Alvares Parada "era chamado de Solar do Zé de Lima."

Amigo pessoal de Getulio Vargas e do General Eurico Gaspar Dutra era visto com freqüência no Palácio do Cadete no dia 25 de agosto, Dia do Soldado, em homenagem a seu avô. Ele faleceu na Fazenda Monte Elyzio em 3 set 1947, com cerca de 87 anos.

Teve um filho, José Domingos de Araújo Carneiro da Silva pai dos seguintes trinetos de Caxias Maria José, Jacy, Haroldo, Leatrice (falecida) Luiz Ernesto e todos com descendentes e José Domingues, Manoel, e Hindeburgo, artista plástico (falecido) e solteiros, segundo o jornal a Voz da Cidade de Macaé, de 15 a 30 setembro 2003.