Chvalkovický zámek stojí na místě bývalé tvrze ze 14. století. Tvrz byla postavena z kamene a částečně sroubena ze dřeva. Za vlády Dobřenských, patrně někdy před rokem 1768, byl na místě tvrze postaven Ferdinandem Rudolfem Dobřenským zámek s vysokou střechou a věží. Při opravách v roce 1825 nechala Kateřina Zaháňská strhnout a odstranit poslední zbytky tvrze. Z této doby pochází též pověst o tajné chodbě, kterou bylo možno opustit zámek v případě nebezpečí.