Stavba Malého mlýna v Budyni začala v r. 1692 za Ferdinanda knížete Dietrichsteina a ukončena byla v r. 1694. Malý mlýn byl postaven na "vyměněném obecním gruntě", jak dokládá městská kronika.
Vrchnost hned od počátku mlýn pronajímala jednotlivým mlynářům. Prvním mlynářským pachtýřem byl od roku 1694 Matěj Čejka, který později od roku 1708 byl mlynářem na Velkém mlýně. Po něm tu byl mlynářem Václav Hozner, který si napotom postavil domek čp. 112.. Po jeho odchodu mlynařil na Malém mlýně v Budyni od roku 1723 Václav Ryba a od roku 1740 Adam Krisvater s manželkou Ludmilou. Mlynář Adam Krisvater zřejmě na mlýně zemřel, neboť od roku 1744 tu byl již mlynářem Jakub Tytlbach, který se oženil s vdovou Ludmilou Krisvaterovou.
Od roku 1766 mlynařil na Malém mlýně Josef Bubeník, po něm od roku 1768 byl na mlýně Vojtěch Tereba. Ten také mlýn v roce 1779 od vrchnosti koupil. Ale v roce 1786 na mlýně již hospodařil Jakub Nitka, který si vzal za manželku Ludmilu Terebovou, a od roku 1804 Karel Stuchlý, který se oženil s vdovou Marií, druhou ženou Jakuba Nitky. Vdovu po zemřelém mlynáři Karlu Stuchlém si vzal Václav Janura, který tu mlynařil od roku 1809. Od roku 1812 na Malém mlýně hospodařil Jan Skopec. Ten měl za manželku Annu, dceru mlynáře Jakuba Nitky.
Do roku 1822 Malý mlýn sestával pouze z mlýnského stavení. Teprve za mlynáře Karla Reichla, který tu hospodařil od roku 1822, došlo k přístavbě světničky na jižní straně mlýna. Mlynář Karel Reichl si vzal vdovu Annu po zemřelém mlynáři Janu Skopcovi a mlýn mu byl upsán roku 1828. Za něho od roku 1830 byl na mlýně nájemcem Josef Mikšíček. Po smrti Karla Reichla v roce 1845 se majitelkou mlýna stala vdova Anna Reichlová.
