Podzemné sály „horskej kráľovnej“, vyhĺbené v pevnej skale, Vardzia vyzerajú akoby boli priamo vystrihnuté zo stránok Pána prsteňov. V skutočnosti je to jaskynný palác-kláštor, ktorý nepostavili trpaslíci, ale Gruzínci na Kaukaze pre svoju bájnu kráľovnú Tamaru.

V zúfalej situácii sú ľudia často nútení podnikať výkony mýtických rozmerov. Koncom roku 1100 stredoveké gruzínske kráľovstvo odolávalo náporu mongolských hord, najničivejšej sily, akú kedy Európa videla. Kráľovná Tamara v roku 1185 nariadila výstavbu tejto podzemnej svätyne a začalo sa kopať, pričom sa vytesala do úbočia hory Erusheli, ktorá sa nachádza na juhu krajiny neďaleko mesta Aspindza.

Po dokončení sa táto podzemná pevnosť rozprestierala na 13 úrovniach a obsahovala 6 000 príbytkov, trónnu sálu a veľký kostol s vonkajšou zvonicou. Predpokladá sa, že jediný prístup do tejto pevnosti bol cez skrytý tunel, ktorého vchod sa nachádzal pri brehu rieky Mtkvari. Vonkajší svah hory pokrývali úrodné terasy vhodné na obrábanie, pre ktoré bol navrhnutý zložitý systém zavlažovania. S takouto obranou, prirodzenou aj vytvorenou človekom, muselo byť toto miesto pre ľudské sily takmer nedobytné. Žiaľ, slávne dni Vardzie netrvali dlho. Hoci bola pred Mongolmi v bezpečí, matka príroda bol úplne iný príbeh. V roku 1283, len sto rokov po jej vybudovaní, ju doslova roztrhalo ničivé zemetrasenie. Zemetrasenie rozbilo horský svah a zničilo viac ako dve tretiny mesta, pričom odhalilo skryté útroby zvyšku.

Napriek tomu však kláštorná komunita pretrvala až do roku 1551, keď ju prepadol a zničil Peržan Saš Tahmasp.

Dnes sa o miesto stará malá skupina horlivých mníchov. Asi tristo príbytkov a sál je stále prístupných a v niektorých tuneloch staré zavlažovacie potrubia stále privádzajú pitnú vodu.