Václav Schwarz provozoval mlýn ještě v průběhu 50. let do své smrti v roce 1858. Začátkem roku 1859 je jako majitel mlýna uváděn jeho syn Josef, v době otcově smrti dvacetiletý. Po několik prvních roků byl vedle Josefa Schwarze na mlýně jako mlynář ještě nájemce Josef Štěpánovský. Ten byl synem pilaře Jana Štěpánovského ze mlýně a piíly v Podmoklanech čp. 7. Rod Schwarzových, který v této době držel a provozoval také mlýn v Odranči čp. 9, byl s rodem Štěpánovských spřízněn vzájemnými sňatky. Jako samostatně hospodařící mlynářský mistr je zde Josef Schwarz uváděn od roku 1864.
Kolem roku 1800 sem přišel Antonín Alinče (narozen 1837), který pocházel z Bytovan na Chrudimsku. Za manželku měl Františku Zamazalovou (1842), dceru kolářského mistra z Malče. Tento mlynářský pár zde zaznamenalo také sčítání lidu v roce 1890, kdy zde s nimi žilo jejich 5 dětí, synové Antonín (1862), František (1866), Josef (1876), Jaroslav (1880) a dcera Aloisie (1888), a dále tchyně Františka Zamazalová (1813, vdova). Nejstarší syn Antonín se vyučil truhlářem, mlynářskému řemeslu se věnoval druhý syn František, který v té době pracoval na otcově mlýně jako tovaryš, rovněž další syn Josef byl tehdy mlynářským učněm.
Sčítání v roce 1900 jako majitele a provozovatele mlýna evidovalo Jana Pražáka (narozen 1877) s manželkou Josefou a synem Františkem.
V roce 1910 sem z České Bělé přišel Augustin Janáček (narozen 1857). Sčítání lidu provedené v tomto roce s ním na mlýně zastihlo jeho manželu Josefu (1859), syna Augustina (1886) a dcery Růženu (1898) a Boženu (1904). Syn Augustin byl vyučen mlynářskému řemeslu a pracoval na otcově mlýně jako mlynářský tovaryš.