Commentaire historique :
On ne sait rien de la seigneurie de Larnagol, ou Darnagol, avant l'hommage rendu par Bertrand de Cardaillac à Simon de Monfort en 1215. Une famille de Larnagol est connue au 13e siècle, dont Galhard, chevalier, qui cède tous ses biens en 1255 à Bertrand de Cardaillac. Alphonse de Poitiers ordonne une enquête parce que le castrum, avec ses dépendances, fait partie des lieux revendiqués par le roi d'Angleterre, et Larnagol est compté parmi ceux situés dans la baylie de Raimond Barasc, alors décédé, sur lesquels portent l'assignation de 1287 (L. d'Alauzier, 1964). En 1259, Déodat, ou Dorde, Barasc tient le fief de Larnagol, qui est transmis au début du 14e siècle aux vicomtes de Calvignac par le mariage d'Alausie Barasc avec Guillaume de Calvignac (V. Rousset, 2001). Puis Raymond de Caussade, seigneur de Puycornet, devient vicomte de Calvignac et Larnagol par son mariage vers 1350 avec la fille unique et héritière de Dorde de Calvignac ; en 1375, son fils Raymond renouvelle au nom de sa mère les baux à fief de la vicomté (G. Lacoste, 1885 ; E. Albe, 1998). Les Caussade de Puycornet conservent Larnagol jusqu'à la fin du 16e siècle : Raymond de Caussade, seigneur de Puycornet et vicomte de Calvignac le dénombre avec toutes justices en 1504 (L. d'Alauzier, 1984) ; en 1579, Louis de Caussade vend à réméré les rentes qu'il lève sur les terres de Larnagol à Dadine d'Hauteserre, qu'il doit racheter douze ans plus tard. Mais en 1596, Diane d'Escars, son épouse, vend à Isabeau de Beauville, comtesse d'Escars, les terres de Calvignac et Larnagol ; le dénombrement effectué à cette occasion fait état d'un château constitué de deux corps de logis séparés par une basse-cour, d'une écurie et d'un four banal (V. Rousset, 2002). Charles de Cazillac, baron de Cessac est devenu vicomte de Larnagol et Calvignac avant 1624, et son fils François vend en 1638 la vicomté à Charles de la Tour de Gouvernet, et la terre de Larnagol, avec un château ruiné, à Pierre de Laporte, habitant de Figeac (E. Albe, 1998 ; V. Rousset, 2001). En 1667, Pierre de Laporte, alors lieutenant général civil et criminel de la sénéchaussée, dénombre pour la baronnie de Larnagol, avec "deux chastaux fort vieux et ruinés situés dans le lieu de Larnagol avec écurie et patus, four banal et port, droit de péage sur le Lot, etc.".
Les Laporte conservent la seigneurie jusqu'à la Révolution. C'est à eux que l'on doit la transformation complète des bâtiments de la terrasse inférieure du site, dont ils font un nouveau château tandis que la partie haute est désormais dévolue aux dépendances. Ils se procurent alors, entre 1768 et 1771, pour 67 livres des balustres et des colonnes du château de Saint-Sulpice (V. Rousset, 2001).
Au 19e siècle, le château appartient successivement à Louis-Victor Benech, aux Sirand, puis à Antoine Bonhomme en 1869. L'ensemble est divisé avec l'acquisition en 1870 du château "supérieur" par la commune qui projette d'y installer les écoles et les bureaux de la mairie, tandis que le château "inférieur" passe aux Saint-Chamarand, puis aux Gimberge, une famille de viticulteurs locaux jusqu'à son achat en 1924 par le célèbre ferronnier d'art parisien Raymond Subes.
Des édifices du castrum médiéval subsistent principalement, dans le château "supérieur", les restes d'une maçonnerie qu'il faut peut-être attribuer au 11e siècle, la base d'une tour à contreforts plats, qu'il faut peut-être dater du 12e ou du 13e siècle, englobée dans une reconstruction de la fin du 13e siècle ou du 14e siècle, et dans le château "inférieur", l'une des élévations d'un bâtiment à deux étages dans laquelle sont conservées des baies géminées datables de la fin du 13e siècle ou du 14e siècle, dont les chapiteaux sont tout à fait semblables à ceux de Cavaniès (commune de Cahors).