V druhé polovině 19. století je zde stále rodina Nahrhaftů. Mlýn měl tehdy 4 vodní kola, která poháněla 3 mlýnská složení a krupník. Při mlýně stála také pila.
V roce 1876 byl u mlýna osazen vodní cejch s označením A.N. 1876. Iniciály se vztahovaly na nezletilého Andrease Nahrhafta, kterého majitelka zastupovala. V roce 1886 dal Andreas Nahrhaft přestavět lednici mlýna, v níž byla umístěna 3 vodní kola původně poháněná na spodní vody. Po přestavbě byly nad kola umístěny vantroky se šoupaty a kola byla upravena na vrchní vodu.
V roce 1904 koupil mlýn Franz Hanika, který je považován za průkopníka elektrifikace v Plané a okolí. Založil zde strojírenský podnik a malou elektrárnu. Nechal zde instalovat turbínu a mlýn změnil na elektrárnu, která zásobovala elektřinou město Planá a od roku 1911 také Chodská újezd, Horní a Dolní Jadruž.
Dle sčítání obyvatel z roku 1910 žil na Panském mlýně Franz Hanika (narozen 1863 v Dolním Kramolíně) s manželkou Theresií čtyřmi syny Oswaldem, Rudolfem, Konstantinem a Franzem, a dvěma dcerami Mathildou a Emilii.