Die weiteren Besitzverhältnisse sind wiederum von Verpfändungen, Kauf und wechselnden politischen Verhältnissen geprägt. Bistum, Edel- und Amtmänner, Grafen und einflussreiche Privatiers, wie der Rat und Kammergerichtsbeisitzer Dr. von Bila wechselten als Eigentümer einander ab. Von Bila hinterließ Spuren, die auch heute noch zu sehen sind. Er baute die Burg, die schon stark gelitten hatte, aus und legte das Vorwerk Bilashausen an. In dessen unmittelbarer Nähe entstand eine dörfliche Siedlung, auf die der Name Stapelburg überging.
Aber auch das war nicht von Dauer. Von Bilas Erben verkauften Burg und Ort 1596 an einen Statius von Münchhausen, und dessen Erben wiederum (1625) an das Domkapitel Halberstadt. Nach langen Verhandlungen gelang es dann dem Grafen zu Stolberg-Wernigerode die Stapelburg für die Grafschaft zu sichern. Die Burg muss demnach immer noch einen gewissen Wert repräsentiert haben.
Das schleichende Ende kam dann durch die politischen Verhältnisse. Der Preußenkönig Fridrich Wilhelm beseitigte die Hoheitsansprüche des Halberstädter Domkapitels. Die Burg wurde bedeutungslos. Niemand interessierte sich jetzt im 18. Jahrhundert mehr für das alte Gemäuer. Wind und Wetter nagten an der immer mehr verfallenden Ruine, und manches Gebäude in und um Stapelburg wurde aus den Steinen der alten Burg gebaut. Niemand kann die Stimmung, die auch heute noch auf dem Berg zu spüren ist, besser beschreiben, als Chronist Grosse: ,,Durch die Ruinen und die mächtige, wundervoll gewachsene Linde, die das ruhelose Schicksal der Burg überdauert hat, geht im Abendwind ein Raunen und Rauschen aus alter Zeit, da die Ritter und Edelfrauen zur fröhlichem Waidwerk vorüber ritten und der Hornruf des Wächters von den Turmzinnen ins Tal hernieder klang…."
Quellen: Interessengemeinschaft Burgberg e. V. ,,Die Stapelburg – Geschichte“,
,,Burg Stapelburg“ - Wikipedia