O osudech mlýna Na Větrově vypráví kupní smlouva z roku 1581. Tehdy se mlynář Šebestián, jenž právě Větrovský mlýn užíval, obrátil na purkmistra a radu města s prosbou o odkoupení svého závazku na tomto mlýně. Šebestián koupil mlýn od mlynářky Barbory Sykarky před třemi lety za 161 kop grošů. Složil však pouze část kupní ceny, a to 35 kop, každoročně pak na svátek Božího těla měl mlýn po 10 kopách splácet. Viditelně se však dostal do finančních nesnází a na splácení mlýnu neměl, a tak žádal město, aby od něj mlýn odkoupilo. Obecní představitelé v čele s purkmistrem Mikulášem Hollarem se poradili s Václavem Švihovským, tehdejším majitelem panství, jenž jim odkoupení mlýna schválil. 9. června tak obec Šebestiánovi vyplatila nejen 35 kop, ale za opravy na mlýně přidala ještě dalších patnáct.
Šebestián směl ve mlýně hospodařit až do poloviny září, přičemž obec slíbila, pokud by to bylo zapotřebí, provádět po tu dobu na své náklady veškeré nutné opravy. Vedení města následně pravidelně každý rok vyplácelo oněch 10 kop dědicům mlynářky Barbory, a to až do roku 1591.
Konec 16. století byl ve znamení sporu města s jeho vrchností. Nový pán Karel Švihovský omezoval městská práva až do té míry, že se Horažďovičtí obrátili k nejvyšším královským zástupcům. Petr Vok z Rožmberka, Volf Novohradský z Kolovrat a Adam ze Šternberka na zámku v Bechyni v prosinci 1589 vyslechli horažďovické zástupce i Karla Švihovského, aby mohli rozhodnout hned v několika sporných záležitostech. Konečný verdikt se mimo jiné týkal i mlýna Na Větrově, často uváděného jako Pustý. Karel Švihovský, využívající obecní mlýn ve svůj prospěch, jej měl nyní neprodleně vrátit městu: „...mlýn, v kterýž se jim uvázal, řečený
Pustý Na Větrově, Horažďovickým hned postoupiti beze vší odpornosti (…) a jejich laskavou vrchností býti má.“ Naproti tomu mu bylo přiznáno držení krčmy ve Veřechovech a pravidelný zádušní plat z Týnce.
Ačkoli město poctivě splácelo dlužnou částku a podařilo se mu z mlýna vystrnadit i podnikavého Karla Švihovského, o jeho využití se příliš nestaralo, a když roku 1599 obdrželo njiž několikátou stížnost od Václava Podměstského a Tomáše Holečka, mlynářů na Hořejším mlýně, že kvůli němu byl jejich mlýn několikrát zatopen, uvolilo k jeho opuštění.
