Ungdomshøjskolen wurde 1895 auf Initiative von Vester Vedsteds Pastor Otto Rosenstand eröffnet. Hier erhielten dänisch gesinnte junge Menschen eine Ausbildung - und die Flüchtlinge ein Versteck. Die riesige Nationalwaffe wandte sich direkt nach Süden - und das verlorene Land.
1888 verbot Deutschland jeglichen Unterricht auf Dänisch. Daher schickten die Eltern ihre Kinder nach den schulpflichtigen Jahren in Nachschulen nördlich der Kongeå Grenze, u.a. in die Vester Vedsted Nachschule, die 1895 auf Initiative des Pfarrers Otto Rosenstand eröffnet wurde.
Der Giebel ist mit dem dänischen Wappen geschmückt, und während des Ersten Weltkriegs 1914-1918 wurde die Schule ein Aufnahmezentrum für dänisch Gesinnte, die vor dem deutschen Militärdienst flohen. Nach einer erfolgreichen Flucht wurde die Dannebrog im Garten gehisst, als Signal an Verwandte südlich der Grenze.
Nach der Wiedervereinigung 1920 sank die Zahl der Schüler, und 1927 drohte der Schule die Schließung. Otto Rosenstand kaufte die Schule und verkaufte sie an Olav Kjems, der weiterhin als Vorsteher tätig blieb. Die Schule wurde 1947 geschlossen, aber als Ferienkolonie und Herberge weitergeführt.
1961 kaufte Jens Kristian la Cour Madsen das Grundstück und eröffnete 1965 eine Jugendhochschule für 16-20-Jährige. Seit 1968 heißt die Schule Ungdomshøjskolen ved Ribe.
Im Garten steht der Grenzstein Nr. 2, der ursprünglich an der Spækbro und am Grenzgraben stand.