Au XIVe siècle, Chavaniac, localité d’origine gallo-romaine devenue seigneurie, appartenait à des bourgeois de Langeac : les Suat. C’est à cette époque que remonte la construction du manoir qui n’était sans doute à l’origine qu’une « maison forte ».
A la fin du XVIIe siècle, elle fut détruite par un incendie. Reconstruite en 1701, on peut facilement imaginer que la nouvelle bâtisse fut agrandie, pour devenir un château.
Le château, entré dans la famille Lafayette, par le mariage d’Edouard Motier de La Fayette et de Marie Catherine Suat de Chavaniac en 1708, est notamment connu pour être la demeure natale du marquis de Lafayette.
Né le 6 septembre 1757, Lafayette deviendra célèbre pour son intervention en Amérique pendant la Guerre d’Indépendance des États-Unis (1775-1783) et sa participation aux deux Révolutions françaises (1789 et 1830). Sa contribution à ces grands évènements lui donnera le surnom de "héros des deux mondes".
Dès 1791, Lafayette fait moderniser le château de Chavaniac par l’architecte Ambroise Laurent Vaudoyer aidé du peintre Albert Ancica. Une description détaillée du château en 1883 présente le bâtiment comme « un vaste parallélogramme, dont chaque côté a une longueur moyenne de 23 mètres sur environ 12 mètres de hauteur. La façade principale orientée au nord est flanquée de deux tours de 15 mètres de hauteur et de 20 mètres de circonférence, coiffées de campaniles ». La construction domine un vallon : Lafayette fera planter une allée de tilleuls et d’ormes, de frênes et de peupliers, longue d’un kilomètre qui présentera le château aux voyageurs venus de Paulhaguet.
Les transformations les plus marquantes auront lieu par la suite au début du XXe siècle, à l’initiative du French Heroes Lafayette Mémorial Fund et du Mémorial Lafayette dont John Moffat fut respectivement le chairman puis le président.
Une longue série de travaux de restauration et de nouveaux aménagements s’engage ainsi à partir de 1917. La toiture sera refaite, les fondations assainies, une tour reconstruite, l’aile arrière sud sera reconstruite avec le rehaussement d’un étage et d’une tour carrée. L’aménagement intérieur se modèle autour du grand salon, des pièces nouvelles sont aménagées, l’électricité est amenée de Brioude (1921), une station de pompage assurera la distribution de l’eau, chauffage central et téléphone équipent le château. En plus de commodités nouvelles, l’aile sud sera équipée de nombreuses chambres à coucher dotées de salles de bain : c’est l’American Way of life à Chavaniac ! L’architecte ordinaire des monuments historiques de Haute-Loire , Achille Proy assure la conduite de ces dernières transformations.
Enfin, un architecte de jardin dessine les perspectives : une roseraie, un jardin anglais, et plante les essences qui, aujourd’hui, font du parc une rareté.
Le château de Chavaniac, remanié trois fois depuis l’incendie qui le détruisit à la fin du XVIIe siècle, témoigne ainsi des aménagements conçus par les Suat en 1701, les Lafayette en 1790, et le Mémorial à partir de 1920.