Die Jahre vor seiner Amtseinführung verbrachte Herzog Julius mit Frau und wachsender Familie im Schloss des Amtes Hessen. Der Vater hatte ihm den Wohnsitz zur eigenen Verwaltung zugewiesen. Nach und nach kamen hier die zehn Kinder zur Welt. Das Ende kam mit dem Tod von Herzog Heinrich dem Jüngeren im Jahre 1568. Julius trat die Herzogswürde an und zog in die Residenz. Als Herzog Julius 1589 starb nahm die Herzogin Hedwig in dem ihr liebgewordenen Schloss ihren Witwensitz. Heute ist man sich der historischen Bedeutung des Schlosses wieder bewusst, und die Reste der vernachlässigten Gebäude werden restauriert.