Vznik hradu a městečka je opředen pověstmi o havranovi a krásném prstenu. První písemná zmínka o Rabštejně však pochází z roku 1269, kdy byl ve vlastnictví rodu Milhosticů, kteří po něm přijali predikát z Rabštejna. Po roce 1321 koupil rabštejnský statek od Lidéře z Rabštejna Oldřich Pluh, předek významného rodu Pluhů z Rabštejna. Oldřich byl královským podkomořím a stal se oblíbencem krále Jana Lucemburského. Přestavěl zpustlý hrádek na významné šlechtické sídlo a založil na předhradí opevněné městečko, kam přivedl obyvatele z nedalekých vsí Hrádku, Vísek (dnes Trnové) a Stvolen. Oldřich Pluh také Rabštejnu vymohl 21. září 1337 pražské městské právo.