Hrad Skálu postavil kolem roku 1350 Hynek z Valdštejna. Valdštejnové zde žili několik desítek let. V letech 1416 až 1460 jej vlastnili páni z Jenštejna, pak Zajícové z Házmburka. V roce 1469 byl hrad obsazen královským vojskem. Od roku 1515 až do roku 1524 po částech skupoval hrad a panství Zikmund ze Smiřic. Smiřičtí začali přestavovat hrad Skála na zámek Hrubá Skála.