Unweit des Schlosses gelegen wachsen an der Stadtmauer, umgeben von alten Linden, rund zehn verschiedene Rosensorten.
Ein kleines, aber feines Areal, das rund um die Uhr zugänglich ist und vor allem im Sommer eine Augenweide darstellt. Ursprünglich angelegt wurde der Rosengarten zur Landesgartenschau 1988. Er stellt das verbindende Element zwischen dem Gartenschaugelände im Horbachpark und der Innenstadt her.
Zwei fantasievolle Reiterfiguren und ein weibliches Flügelwesen des Bildhauers Volker Krebs sind in einer Kombination aus Sandstein und Bronze geschaffen.
Vor dem Gebäude der Stadtbibliothek, das ursprünglich als Exerzierhalle zum Schloss gehörte, steht die Keramikplastik "An meine Freunde", mit der Sabine Gärtner-Classen die Dichterin Elke Lasker-Schüler ehrt, die den kulturellen Dialog zwischen Deutsch- und Judentum gelebt und gepflegt hat. Gleich einem versteinerten Baum wachsen Textfragmente der Gedichte "An meine Freunde" und "Ankunft" aus der Erde, von blauen Wasseradern belebt.
Das "Klösterle" an der Klostergasse diente den Patres, die die Seelsorge für die Schlossbewohner besorgten, als Domizil.
