Nápis na skalnom výbežku, na ktorom stojí, naznačuje, že Gadaladeniya Viharaya (alias Gadaladeniya Rajamaha Viharaya) bol postavený v roku 1344. Podobne ako v prípade mnohých chrámov z tejto doby, je možné, že na tomto mieste stál ešte starší chrám, ale to sa nedá s istotou potvrdiť.
Isté je, že v tej dobe nebola Srí Lanka ešte jednotným štátom. Ostrov bol rozdelený na niekoľko kráľovstiev a tento chrám bol súčasťou kráľovstva Gampola, ktoré malo sídlo v rovnomennom meste vzdialenom asi 10 km od chrámu. Stavbu chrámu dal postaviť vládca kráľ Buvanekabahu IV., ktorý povolal juhoindického architekta menom Ganesvarachari. To vysvetľuje zmiešanie singálskych a dravidských architektonických prvkov.
Hlavný chrám je postavený z vyrezávanej žuly, s výnimkou komnaty, kde sa nachádza hlavná socha Budhu, ktorá je z tehál. Veľká socha Budhu je tiež vyrobená z tehál a malty, ale pokrytá vápnom a pieskom a nakoniec natretá zlatou farbou. Naproti prírodnému jazierku, ktoré vzniklo v priehlbine skaly, sa nachádza druhá svätyňa. Bola postavená niekoľko rokov po hlavnom chráme a pozostáva z centrálnej stúpy, ku ktorej sú pripojené štyri menšie stúpy. V každej z týchto menších stúp je umiestnená socha jedného zo štyroch nebeských kráľov.
Komplex je síce očarujúci, ale pre neškolené oko nie je rozdiel medzi singálskymi a dravidskými prvkami zrejmý. Charakteristickým rysom juhoindickej architektúry je stupňovitá pyramídová strecha, ktorá je často zdobená nespočetnými náboženskými postavami. V Gadaladeniya Viharaya by to bolo nápadné, ale v skutočnosti stále existuje, hoci je skrytá pod singálskou strechou, ktorá dnes zakrýva chrám.
Viditeľné dôkazy dravidského dizajnu možno nájsť v striedavom osemuholníkovom a štvorcovom priereze stĺpov v predsieni; tieto stĺpy sú navyše zdobené vyrezávanými božstvami, ako sú Nataraja a Krišna, čo jasne naznačuje vplyv južnej Indie. Pokiaľ ide o singhálske architektonické vplyvy, okrem už spomenutej strechy chrámu je tu stúpa, mesačný kameň pri vchode a trojstranné dvojité stĺpy v hale, ktoré všetky poukazujú na miestnu citlivosť.
Na severovýchodnej strane chrámu vedú kamenné schody k jednej z brán vedúcich na bočnú cestu. Vľavo od týchto schodov je časť skaly ohradená. Na povrchu tejto chránenej oblasti sú vytesané staroveké nápisy. Sú v singalčine, s výnimkou prvého riadku, ktorý je v sanskrte. Tu je zaznamenaný dátum výstavby chrámu.
