Původně gotický vodní hrad založený předky pánů ze Švamberka byl v 16. stol přestavěn na zámek. Svoji nynější pseudogotickou úpravu získal v 19. století. Zámek je stavebním unikátem, neboť se v nedotčeném stavu zachovala podstatná část středověkých prvků. Za husitských válek byl hrad zničen, ale v 15. století se rod Švamberků značně rozrostl a bylo nutné starý hrad přestavět, aby tehdejší majitel Jan získal pro své potomky sídlo přiměřené významu, kterého rod mezitím nabyl. Borský zámek je tak významným dokladem vývoje hradní architektury v Čechách a její přeměny v pohodlný zámek.