Am 16. Juli 1836 wurde die „Badische Gesellschaft für Zuckerfabrikation" in Karlsruhe gegründet. Nachdem man Anfang 1837 in einer Probefabrik das Verfahren ausprobiert hatte, suchte man anschließend nach einem geeigneten Standort für eine neue Fabrik. Die Wahl fiel auf das Gelände der "Eremitage" in Waghäusel, das am 21. Juni 1837 für 22.670 Gulden gekauft wurde. Die Bauarbeiten wurden eingeleitet und bereits im Jahr 1838 konnte produziert werden.
Waghäusel wurde nun der Sitz der "Badischen Gesellschaft für Zuckerfabrikation". Das Schloss "Eremitage" wird zum Verwaltungsgebäude und die Kavaliershäuser zu Wohnhäusern der leitenden Angestellten. In den folgenden Jahren entwickelte sich die Fabrik zu dem größten Industrieunternehmen im Großherzogtum Baden. Es waren zeitweise über 1.000 Arbeiter beschäftigt.
Im Jahr 1864 erhielt die Fabrik dann einen Gleisanschluss an die Rheinbahn. Weiterhin wurde in den nächsten Jahren in die Fabrik investiert und ausgebaut. Von 1967 bis 1971 wurde die Fabrik in Waghäusel ein weiteres mal modernisiert und die Kapazität der Anlagen erhöht. 1987 mussten dann aber die Kapazitäten reduziert werden.
Am 7. Juli 1994 beschloss dann der Aufsichtsrat der Südzucker AG die Fabrik in Waghäusel mit dem Ende der Kampagne 1995 stillzulegen. Nach 158 Jahren Produktion wurde die Zuckerfabrik Waghäusel geschlossen. 1997 kaufte die Stadt Waghäusel das Areal mit allen Gebäuden, und damit auch das Schloss Eremitage, zu dem symbolischen Preis von 1 Deutsche Mark zurück.
Seit Ende Juni 2009 lief der Abbruch des restlichen Fabrikationsgebäudes und des Werkstattbereichs, in denen die nachfolgenden Fotos entstanden sind. Auf dem Gelände befindet sich bereits eine Musikschule, die Eremitage ist ein schöner Ort für Hochzeitsfotos. Was auf dem Gelände der Südzucker-Fabrik noch entstehen soll, ist derzeit unbekannt. Die beiden 65 m großen Zuckersilos (3500 t Fassungsvermögen) sollen als Denkmal und Erinnerung stehen bleiben. Jedoch wurden sie 2020 abgerissen. Die Fotos entstanden im Juni 2009.
