La Charité entstand 1133 im Tal der Romaine südlich von Vesoul als Tochterkloster von Bellevaux. Das Kloster erlebte eine frühe Blütezeit, aber auch einen schnellen Niedergang, bedingt durch mehrere Zerstörungen, unter anderem durch den Herzog von Zweibrücken im Jahr 1569. Endgültig aufgehoben wurde das Kloster aber erst 1791. An der Stelle der in der Revolution niedergebrannten Klostergebäude entstand 1840 ein kleines Landschloß. Aus der Klosterzeit erhalten haben sich lediglich einige Nebengebäude und ein kleiner Teil der Kirche, der zur Schloßkapelle umgebaut wurde.