So ganz ohne Bewohner blieb der Burgberg aber auch in der Folgezeit nicht. In den Ruinen hatte Herzog August 1667 wieder ein kleines Haus errichten lassen, das als Wohnstatt für den Forstaufseher diente. Wie lange dieses Haus als solches genutzt wurde, ist heute nicht mehr feststellbar. Erst in der Mitte des 18. Jahrhunderts tauchen in den Kirchenbüchern Meldungen über neue Bewohner auf. Von zwei Menschen ist die Rede, Bruder und Schwester, die hier auf ungewöhnliche Weise hausten. Burgmieke und Burghansjürgen wurden sie genannt, und man betrachtete sie mit einiger Scheu. Sie hielten Vieh auf dem Gelände und pflanzten sich Gemüse an. Es war aber auch die Rede von dunklen Geschäften, von Hilfeleistungen, die man gefallenen Jungfrauen erwies. Das stieß den Behörden übel auf und sie verjagten das Paar vom Burgberg.

Von der Bautätigkeit des 19. Jahrhunderts verdient die Errichtung einer Gaststätte Erwähnung. 1846 errichtete der Gastronom Friedrich Wilhelm Reusche ein erstes festes Gebäude, das Gasthaus zum Krodo. In der Folgezeit wurde daraus ein überaus renommierter Betrieb, in dem sogar der König von Hannover mit seiner Familie mehrfach abstieg. Aber auch das ging zu Ende. Während des letzten Krieges und in der Zeit danach verfielen die Gebäude mehr und mehr und wurden am Ende der 60er Jahre völlig abgebrochen. 1973 wurde der Betrieb eines provisorischen neuen Cafes aufgenommen, dem nach Abschluss der Grabungen ein Gebäude im Tiroler Stil folgte. Nachdem 2009 die Firma Junicke Gelände und Gebäude übernommen hatte, wurde das Café 2011 abgerissen und durch einen Neubau ersetzt. Die Gaststätte  ,,Aussichsreich" wurde am 25. Januar 2015 eröffnet.

Noch einem weiteren kleinen Gebäude auf dem Burgberg muss Erwähnung getan werden, der Harzsagenhalle. Sie bot lange Zeit einen betrüblichen Anblick und war viele Jahrzehnte geschlossen. Dadurch verfiel sie immer mehr und drohte, ganz zu verschwinden. Dabei enthält sie ein Kunstwerk der besonderen Art: In Stein gebannte Harzsagen. Die Harzsagenhalle und ihr Kunstwerk entstanden in den Jahren von 1928 bis 1932. Geschaffen hat sie Franz Bergmann, der zu seiner Zeit ein bekannter Bildhauer und Maler war. Dargestellt sind in einem Eichenholzschrein die bekanntesten Harzsagen. Die Figuren und auch die sie umgebende Landschaft sind kunstvoll aus Marmor herausgeschnitzt. Bergmann starb 1948 an den Folgen eines Kriegsleidens. Die Ehefrau betrieb die Harzsagenhalle weiter, bis sie aus Altersgründen aufgeben musste. Mit Unterstützung der Harzburgstiftung gelang es, Gebäude und Kunstwerk zu restaurieren. Am 8. August 2014 wurde die ,,Harzsagenhalle" festlich eingeweiht und steht heute mit Einschränkungen dem Interessierten wieder zur Verfügung.