Die Grafen von Sayn gründeten um 1235 in Drolshagen ein Nonnenkloster und schenkten dem Konvent auch die Pfarrkirche St. Clemens, die im Laufe des 13. Jahrhunderts ausgebaut wurde. Das als freiadelige Abtei zunächst blühende Kloster geriet in der Reformationszeit in wirtschaftliche Schwierigkeiten, von denen es sich auch später kaum mehr erholen konnte. 1763-77 wurde eine neue Klosterkirche errichtet, da die örtliche Pfarrei Anspruch auf die Clemenskirche erhob. 1803 wurde das Kloster dann aufgehoben, und die neue Kirche von 1777 wurde abgerissen. Von den Klostergebäuden haben sich der ehemalige Amtshof und ein Gebäude aus dem 17. Jahrhundert erhalten, außerdem die Kirche St. Clemens, die heute als katholische Pfarrkirche von Drolshagen dient.