Karl II. August, der 1775 die Nachfolge seines Onkels Christian IV. als Herzog von Pfalz-Zweibrücken antrat, kaufte im Sommer 1777 östlich von Homburg auf einer Anhöhe ein adeliges Landgut, das er zu einem prachtvollen Ensemble erweitern ließ. In der vermeintlichen Gewissheit, bald die Thronfolge als Kurfürst der Kurpfalz und Bayern anzutreten und damit Regent der drittgrößten Macht im Deutschen Reich zu werden, machte er sich daran, ein „Feen-Schloss“, wie der Freiherr Adolph Knigge es bezeichnete, zu errichten.  

Vom Jahr 1777 an entstand unter der Bauleitung des Malers Johann Christian Mannlich (1741-1822) ein legendenumwobenes Landschloss mit weitläufigen Parkanlagen. In den Schlossflügeln bewahrte man die große Bibliothek, das Naturalienkabinett mit mehr als tausend ausgestopften Vögeln, ein physikalisches Kabinett sowie eine Waffen- und eine Münzsammlung auf.

Zu den umgebenden Bauten gehörten eine außerordentlich repräsentative Orangerie als schützendes Haus für wärmeliebende Zitruspflanzen. In dessen Obergeschoss und den Seitenflügeln wohnten Angehörige des Hofes, im Keller verwahrte man unter anderem antike Funde aus der Region. Darüber hinaus entstanden in rascher Folge ein Marstall und ein Reithaus, Stallungen für die Hundemeuten, Treibhäuser und unterschiedlichste Gartenpavillons sowie Kavaliershäuser, Kasernen und Wirtschaftsgebäude. In der Karlslust, einem gesonderten Parkbereich im einstigen „Teufelsloch“, wurden ebenfalls über weitläufige Sichtachsen verbundene Lustbauten, eine Wasserkaskade, Becken und Weiher, ein Arboretum und eine Menagerie angelegt. Ohne Einladung durfte niemand ein Auge auf diese Besonderheiten werfen, was die Legenden und Mythen bis in die heutige Zeit befeuert.

Die Zerstörung von Schloss Karlsberg im Juli 1793 durch französische Revolutionstruppen setzten der Anlage ein Ende. Die meisten Kostbarkeiten konnte Johann Christian Mannlich retten. Dennoch fiel das Verbliebene der Zerstörung und Plünderung zum Opfer. Der heutige WaldPark hütet noch heute die Überreste dieser einstigen Pracht.