Nördlich des heutigen Schlosses, welches erst um die Mitte des 18. Jahrhunderts gebaut wurde, erhob sich ehemals hart an der Strasse Bischofszell-Hohentannen der Stammsitz der Herren von Heidelberg. Dieses Geschlecht erscheint in den Urkunden von 1137 bis ungefähr 1450. Es führte drei Schnallen im Wappen und stand im Dienste des Bischofs. Neben den übrigen konstanzischen und St. gallischen Lehen gehörten zeitweise auch die Vogtei Bischofszell sowie die Festen Singenberg und Schönenberg zur Herrschaft. Obschon die Appenzeller 1403 hier besonders grundliche Arbeit leisteten ist die Burgstelle noch jetzt sehr wohl erkennbar. Als die Familie von Heidelberg im15. Jahrhundert erlosch, verlieh der Bischof ihre Güter den Schenken von Kastell, die sie aber 1566 an die Stadt Bischofszell weitergaben. Im Jahre 1702 versuchte der Obervogt von Beroldingen, zum Schrecken der evangelischen Lehensleute, die Herrschaft Heidelberg zu erwerben; doch gelang es der Zürcher Regierung, sie 1708 den Werdmüller zu Oettlishausen in die Hände zu spielen. Von 1726 bis in die neuere Zeit besass dann die Familie von Muralt das Schlossgut.
