Po smrti Čeňka z Vartenberka, zakladatele hradu, připadl hrad králi Václavu IV. Roku 1398 získal hrad a celé panství od krále Ota z Bergova a po něm zdědil Trosky jeho stejnojmenný syn – Ota mladší. Ten, jako zarytý katolík na sebe upoutal hněv husitských vojsk, která v roce 1424 Trosky oblehla. Hrad se jim však zdolat nepodařilo. V roce 1455 syn Oty z Bergova, Jan, prodal Trosky s celým panstvím pánovi sousedního panství a hradu Kosti, kterým byl Jan Zajíc z Hazmburka. Pro Trosky to však v podstatě znamenalo konec živé existence.
Roku 1469 byly Trosky dobyty královským vojskem. Hrad se stal už jen střediskem hospodářské správy a několikrát ještě změnil majitele. Ještě za třicetileté války hrad stál, i když už opuštěný a zpustlý. O tom, jak hrad skutečně vypadal v době svého vzniku, prameny mlčí. Nedochoval se žádný obraz či rytina, veškeré archivní materiály shořely. Z pramenů je známo, že jediný historicky věrný obraz Trosek ukořistili Švédové za třicetileté války na zámku Hrubá Skála a odvezli jej do Švédska. V roce 1821 prodávají Valdštejnové Trosky Janu Lexovi z Aehrentalu. Jeho syn Alois začal v roce 1841 stavět točité schodiště, jímž chtěl zpřístupnit vrchol Panny a tak využít vyhlídky do dalekého okolí. V roce 1843 však stavitel zemřel a stavba tak zůstala nedokončena