Kolem poloviny 19. století přišel na mlýn mlynářský rod Bauerů, který zde pak hospodařil po dobu přibližně 100 roků. Prvním byl Franz Josef Bauer, který se narodil v roce 1821 na níže položeném mlýně Untere Höramühle čp. 21 jako syn tamního mlynáře Thomase Bauera. Franz Josef měl za manželku Barbaru Januschkowetz, dceru kovářského mistra z obce Semteš u Žlutic. Matriky zaznamenaly narození jejich 5 dětí, synů Antona (1854) a Johanna (1866) a dcer Anny (1852), Franzisky (1860) a Theresie (1863).
Mlýn převzal syn Anton Bauer, který se oženil s Elisabeth Hanika, dcerou sedláka z obce Kýšovice u Chomutova. První syn Karl se jim narodil v srpnu 1888, po něm následovali Josef (1891), Theresia (1893), příští mlynář Anton (1895), Alois (1898), Maria (1900), Franz Engelbert (1903) a Albina (1908).