Bývalý žarnovický hrad, súčasnými obyvateľmi nazývaný kaštieľ, postavili v 15. storočí Dóczyovci. Vznikol na obranu mýta a kontrolu obchodnej cesty. Neskorogotický hradný palác stál v samostatnom opevnení, v 16. a 17. storočí so zosilnenou protitureckou obranou. Začiatkom 20. storočia opevnenie zbúrali a jadro hradu prestavali na blokovú hranolovú stavbu v ktorej boli neskôr kancelárie.
      
Podľa primátora mesta Kamila Danku, nový majiteľ zatiaľ nechce špecifikovať svoje ďalšie úmysly s kaštieľom. Vyjadrí sa vraj až po vybavení všetkých formalít, potrebných na prevod vlastníctva.
      
Kaštieľ už dražili vlani aj začiatkom tohto roka. Keďže dražby neboli úspešné, súd povolil znížiť cenu na polovicu.  Objekt prešiel koncom 90. rokov uplynulého storočia zo štátu na mesto. Samospráva ho začiatkom nového tisícročia predala súkromnej spoločnosti Eastern European Investment, napojenej na španielskych investorov za 120.000 Sk (3983 eur). Ich zámerom bolo kaštieľ prestavať na moderné ubytovacie a reštauračné zariadenie. Do obnovy mali investovať asi 2,66 milióna eur (80 miliónov Sk).
    
Spoločnosť sa však po čase dostala do problémov. Keď im stúpli záväzky, okrem iných aj voči Mestu Žarnovica, súd na spoločnosť uvalil exekúciu a exekútor ponúkol kaštieľ na predaj.
      
Objekt, ktorý je kultúrnou pamiatkou je dnes už v zlom stave a chátra. Podľa primátora na jeho obnovu a sprevádzkovanie podľa pôvodného zámeru by bolo treba najmenej 1,66 milióna eur (50 miliónov Sk). "Zariadenie tohto typu v našom regióne chýba," uviedol. Jeho potreba ešte vzrastie po dokončení rýchlostnej komunikácie medzi Hronským Beňadikom a Šášovským Podhradím.