Původně gotická tvrz se stala na konci 12. století sídlem slavného českého rodu Buziců, byla postavena při historické obchodní, tzv. „Zlaté stezce“ (Semita Aurea), spojující Čechy s Bavorskem. Ta měla značný význam pro osídlení, hospodářský a kulturní rozvoj českých zemí. Na počátku 15. století patřila tvrz krátký čas panovnickému rodu Lucemburků, králi Václavu IV. Poté se stala majetkem panského rodu Zmrzlíků ze Svojšína, jehož nejznámější příslušník Petr Zmrzlík, nejvyšší mincmistr království českého, byl blízkým přítelem Jana Husa. Ten mu napsal den před svou smrtí, 5.7.1415, dopis na rozloučenou.
V raném období náboženské války třicetileté, v první polovině 17. století, roku 1623, bylo březnické panství zkonfiskováno protestantskému rodu pánů z Lokšan. Novým držitelem se stal Přibík Jeníšek z Újezda, v té době písař menších desek zemských, později karlštejnský purkrabí a nejvyšší písař zemský známý jako královský prokurátor, jenž obžaloval a tribunál posléze odsoudil 27 vůdců protihabsburského povstání popravených na Staroměstském náměstí 21. 6. 1621 za vzpouru proti právoplatně zvolenému českému králi Ferdinandovi II. Přibík Jeníšek z Újezda se zasloužil o stavbu zámecké, raně barokní kaple Neposkvrněného početí Panny Marie v letech 1625–1632, dále o výstavbu městského chrámu sv. Ignáce a sv. Fr. Xaverského v letech 1642–1650 a barokní jezuitské koleje dokončené v roce 1652.
V 18. a 19. století byl březnický zámek ve vlastnictví významného českého šlechtického rodu Krakovských z Kolovrat a na sklonku 19. století až do června 1945 byli majiteli zámku představitelé česko-uherského panského rodu Palffyů z Erdodu.