Es liegt somit in einer alten Kulturlandschaft , die auch vor- und frühgeschichtliche Besiedlungsspuren aufweist. In unmittelbarer Nähe befand sich ein römischer Gutshof Villa rustica. Erstmals erwähnt wird das Cyriacuskloster Naumburg im Jahre als castello Nuwenburg. Später war es dem Heiligen Kreuz geweiht. Heinrich IV. Das Kloster hatte so eine gute materielle Ausstattung. Seit dem Seit konnten sie bei einem Aufenthalt dort freie Verpflegung und Unterkunft beanspruchen.
Haardt, sondern durch das Kloster Seligenstadt , das in der Folge auch die geistliche Hoheit über Naumburg beanspruchte. Es wurde erstellt anlässlich der Ausmessung und Aussteinung des Klosterbesitzes im Freigericht und enthält Darstellungen des Ereignisses, der Reichsburg Friedberg , verschiedener Heiliger, Wappen des Friedberger Burggrafen und verschiedener Burgmannen als Zeugen sowie des Klosters Naumburg.
Der Verfall des Klosterlebens wird in der Einleitung der Fabel Von einem Müller und Esel von Erasmus Alberus erwähnt, die in der Hainmühle unterhalb der Naumburg angesiedelt ist, allerdings mit einem guten Schuss protestantischer Polemik.
Der Niedergang des Klosters führte dazu, dass es zunächst von der Grafschaft Hanau-Münzenberg gekauft wurde. Aus dieser Zeit stammt auch das reich verzierte Eingangsportal.
Die Anlage wurde von der Gemeinde Erbstadt erworben und weiter in private Hände verkauft. In der Folge wechselten Eigentümer und Nutzung des Schlosses mehrmals. Seit hat Ingrid Schiener das Anwesen umgebaut. Schloss Naumburg befindet sich heute wieder in Privatbesitz. Das Schlossgebäude ist nahezu unbewohnbar und in seinem Bestand gefährdet. Führungen durch das Schloss finden nicht statt, eine Besichtigung ist nicht möglich. Am Eingangstor befindet sich lediglich eine Tafel mit wichtigen Daten dieses Gebäudes.
