Gotický hrad založili bratři Pavel a Vok ze Sovince před rokem 1332. Na přelomu 15. a 16. století byl rozšířen vnitřní palác a postaveny hospodářské budovy. Po roce 1543 nechali páni z Boskovic hrad renesančně upravit. Z této doby pochází např. polygonální bašta Remter nebo opevnění zvané Kočičí hlava.

Teprve dobytí hradu Dány v roce 1626 dalo podnět k vybudování nejrozsáhlejšího systému opevnění u nás. Navzdory tomu byl ale v roce 1643 znovu obsazen a poničen Švédy.

V letech 1623-1939 vlastnil hrad Řád německých rytířů. Během 2. světové války obsadil hrad wehrmacht a do roku 1942 zde byl zajatecký tábor pro francouzské důstojníky. Na konci 2. světové války hrad vyhořel. V roce 1951 začala jeho pozvolná rekonstrukce.