Die Burg wurde 1185 von den Mainzer Erzbischöfen erbaut. Sie diente als Bastion gegen die hessischen Landgrafen sowie zum Schutz der Stadt Fritzlar und des alten Salzweges. In zahlreichen Auseinandersetzungen wurde die Anlage mehrfach zerstört und wieder aufgebaut. Zwischenzeitlich blieb sie ungenutzt und wurde dem Verfall preisgegeben.
1860 erkannte ein junger Förster die traumhafte Lage der von Bäumen und Büschen überwucherten Burgruine auf dem Basaltkegel mit herrlicher Aussicht. Es wurden Wanderwege, Schutzhütten und Wegmarkierungen auf dem Heiligenberg angelegt. Ab 1880 fanden hier erste Burg- und Volksfeste statt. 1902 wurde ein acht Meter hoher, hölzerner Ausichtsturm errichtet.
Von 1935-1939 wurden die Überreste der Burg freigelegt und Gebäude wieder hergestellt. Ein Teil wurde als Gedenkstätte für die Gefallenen des Ersten Weltkriegs eingerichtet.
Heute kümmert sich der Heiligenbergverein um den Erhalt der Ruine und Ausbau der Wanderwege zur touristischen Nutzung. Auch ein Teilstück des Kunstpfads „Ars Natura“ mit Werken lokaler Künstler verläuft hier.
