La Maison des Mémoires - Maison Fuzier, fut édifiée à la fin des années 1860 par Pierre Abraham Edouard Vidal (1828-1901), propriétaire de la filature de Laprade et exploitant de laines, pour lui et sa famille.
Il donna ensuite cette maison à sa sœur, Marie-Françoise Irma Vidal, qui épousa Eugène Houlès, le fils de Pierre Elie Houlès, l’important fabricant drapier de Mazamet, maire de la ville en 1841 et 1851, et à l'origine du délainage…
La maison passa ensuite à leur fille Louise Julie Irma qui épousa Albert Rouvière.
Albert Rouvière était une personnalité protestante influente du milieu économique mazamétain. Il fut élu maire de la commune en 1896 et 1900, puis conseiller général en 1904.
En 1908, Albert Rouvière donna la maison à sa fille, Jeanne Louise Elise, qui épousa Raymond Jules Pierre Fuzier, ingénieur principal du Génie Maritime de l’école de Brest. Ce dernier, distingué au titre de Commandeur de la Légion d’Honneur, a terminé sa carrière avec le grade d’Amiral.
Le couple Rouvière-Fuzier n'ayant pas eu de descendants directs, la maison fut mise en vente et achetée dans les années 1970 par la Ville de Mazamet.
Un musée d'histoire locale puis la bibliothèque municipale y furent installés jusqu'en 1994.
Dans les années 2000, deux salons ont été réaménagés dans le style du 19e siècle.
L'aménagement s'est achevé avec l'ouverture du Musée du Catharisme en 2005, des Archives Municipales en 2006, et la création de la salle des maquettes de châteaux en 2011.
