První autentická zpráva o tomto mlýně je z r. 1760 /ale byl starší/, kdy měl jedno složení a hospodařil tu nájemný mlynář Josef Procházka. Mlynář platil vrchnosti nájemné 20 zlatých ročně. Vrchnost byla zřejmě církevní a mlýn patřil do majetku konventu kláštera sv. Jana pod Skalou.
Jeho opat Jan Herman jej prodal roku 1785 mlynáři Janu Turnovskému za 180 zlatých a další nájemné 20 zlatých každý rok. Šlo o mlýn emfyteutický, t.j. s dědičným právem.
R. 1792 od Jana Turnovského koupil mlýn u Zbenic Jan Kliment za 500 zlatých. Hned následujícího roku jej bez zisku i bez ztráty prodal Františku Ježkovi. Od roku 1797 mlýnská usedlost za 600 zlatých přešla na Františka Krátkého. Po třech letech se na mlýně objevuje Josef Kládner, který jej i s celým inventářem koupil za 600 zlatých, ale ještě téhož roku za 950 zlatých prodal Matěji Drastíkovi.
Další mlynář, Šemberk, zaplatil roku 1805 za mlýn už 1 600 zlatých. Od roku 1813 - po Šemberkově smrti - se jeho majitelkou stala jeho vdova Rosalie. Za pět let jej prodala Václavu Masákovi, který mlýn obratem, ještě roku 1818, přenechal za 1 400 zlatých manželům Františku a Anně Hájkovým. V roce 1825 Panský mlýn získal za 950 zlatých Václav Vojta s manželkou ze Švihova. Za čtyři roky tu byl ale jiný majitel, Martin Spálenský z Letů; koupil mlýn za 1 108 zlatých, dál byl povinen odvádět ročně do vrchnostenského důchodu 11 zlatých a mlít panské obilí se slevou.
Roku 1830 se mlýna ujímá za 1 144 zlatých úřad orlické větve knížat Schwarzenbergů. V jeho správě byl 14 let. Roku 1844 mlýn odkoupil František Rmoutil s manželkou Mariií za 2 187 zlatých, přičemž vrchnosti - nyní orlické - musel odvádět emfyteutický nájem, 10 měr žita ročně.
