Die kleine Herrschaft war anfangs im Besitz der Herren von Orsonnens, die seit 1142 mit dem Ritter Raymundus bezeugt sind. Sie zahlten zu den besonderen Wohltätern von Altenryf, woran in dessen Kreuzgang noch ihr Wappen erinnert. Die Herrschaft kam später an die Billens und wechselte dann oft ihre Besitzer. Ab letzte trifft man die Odet, die bis 1879 ein Gut dort hatten.
Die Burg wurde 1891 durch die Ursulinen erworben und ab Haushaltungsschule eingerichtet, dabei so umgestaltet, dass vom alten Gepräge nichts mehr übrig blieb. Ursprünglich stellte sie eine rechteckige Anlage dar mit turmartig über den Dachansatz hinausgeführten Ecken, vielleicht aus dem 16. Jahrhundert, und wurde dann im 18. Jahrhundert umgestaltet. 1448 hatten die Freiburger mit sieben andern Orten bei Romont, die zu Savoyen gehörten, auch Orsonnens niedergebrannt. Wie weit die Burg in Mitleidenschaft gezogen wurde, ist nicht bekannt.
