Olivet wurde 1145 als Tochterkloster von La Cour-Dieu (östlich von Orléans gelegen) gegründet. Bis auf den gotischen Kapitelsaal mit Kreuzgratgewölbe hat sich von der ursprünglichen Klosteranlage östlich von Saint-Julien-sur-Cher fast nichts erhalten. Dieser Saal ist heute ist in ein Gebäude integriert, das ursprünglich aus dem 17. Jahrhundert stammt und zu einem kleinen Schloß umgebaut wurde. Es befindet sich heute in Privatbesitz; zum Zeitpunkt meines Besuches war das Gelände nicht zugänglich.