V tomto paláci zo 17. storočia sídlil Francisco Gómez de Sandoval y Rojas, vojvoda z Lermy a vplyvný obľúbenec španielskeho kráľa Filipa III. Vojvoda bol dôležitým diplomatom, ktorý rokoval o mnohých zmluvách a jeho nádherný a impozantný palác mal slúžiť ako symbol jeho moci. Bol tiež niečo ako náboženský a rasový fanatik a bol to človek, ktorý spolu s arcibiskupom z Valencie Juanom de Riberom inicioval vyhostenie tisícov Moriskov, potomkov španielskeho moslimského obyvateľstva, ktorí konvertovali na kresťanstvo. Títo dvaja fanatici tiež povzbudzovali kráľa, aby zotročil Moriskov, aby ich použil ako robotníkov, o ktorých tvrdil, že to dokáže „bez akýchkoľvek výčitiek svdomia“. Návrh bol, našťastie, zamietnutý.

Vojvoda nakoniec upadol do nemilosti (ale nie skôr ako sa stal kardinálom) a jeho palác chátral. Dnes bola obnovený a zmenený na paradora, štátny hotel vyššej kategórie. Palác je jedným z mnohých historických budov použitých v tomto španielskom úsilí na podporu cestovného ruchu.

Keď sa priblížiš k Lerme, štyri impozantné čierne veže v rohoch budovy sú viditeľné už z diaľky a vyzerajú ako obrovská, mierne hrozivá cirkevná budova. V súlade s myšlienkami, ktoré tam vznikli, človek si môže palác predstaviť ako sídlo španielskej inkvizície. Ale pri pohľade zblízka z námestia vyzerá pôsobivo a honosne. Palác mal nádherne záhrady a vraj aj sedem kaplniek, z ktorých zostala len jedna.

Vedľa paláca je impozantný kostol, ktorý rovnako ako palác nesie erb vojvodu z Lermy. Prezri si tiež ďalšie historické budovy v meste vrátane turistickej kancelárie v budove, kde sa údajne zdržoval Rubens.