De bannerheren van Lathum hadden omstreeks 1355 een slot in Lathum, Huis Bahr. In 1495 is het slot verwoest. Op de restanten bouwden de heren van Lathum, de behoorden tot de familie van Rheden Huis Lathum. In de loop van de tijd had Huis Lathum diverse bestemmingen.