První písemná zmínka o Krásném Dvoře pochází z roku 1295 v souvislosti s majitelem Vilémem z Krásného Dvora. Další z majitelů Václav Pětipeský z Chýš začal v místech dnešního zámku budovat tzv. Horní tvrz, tuto stavbu však již nikdy nedokončil. Roku 1547 byl popraven jako jeden z viníků odboje proti Ferdinandu I. Ve stavbě pokračoval až další z majitelů, Jan mladší Mašťovský z Kolovrat, který v 16. století tvrz přestavěl na renesanční vilu. Ta tvoří základ půdorysu dnešního zámku dodnes.[3]
Roku 1649 zámek koupil Heřman Černín z Chudenic, tomuto rodu zámek patřil až do roku 1939. Do konce 17. století zámek chátral. František Josef Černín zámek přestavěl v letech 17201724 do barokní podoby podle návrhu architekta F. M. Kaňky. Černínovi na stavbě zámku velmi záleželo, neustále návrhy upravoval, roku 1722 dokonce některé ze staveb nechal strhnout, protože neodpovídaly jeho představám. Kamenické práce zajišťoval Matěj Merkl z Petrohradu, tesařské místní mistr Merkl.[3]
Za druhé světové války zámek sloužil jako úřad a jednu dobu i jako rekreační středisko Joachima von Ribbentropa. Po osvobození byl zámek štábem sovětských vojsk, pak patřil ministerstvu zemědělství a pak národní kulturní komisi. Už v padesátých letech byl zámek zpřístupněn veřejnosti.