El castillo se asienta sobre un promontorio de roca caliza que utiliza como cimientos. Esto suponía una gran ventaja defensiva, ya que así los muros no podían ser minados (técnica habitual en el asedio de fortalezas, que consistía en construir un túnel por debajo del muro para después hundirlo y abrir así una brecha por la que asaltar). Además está rodeado por una muralla con torreones.
El castillo está en bastante buen estado de conservación (salvo la parte del antiguo castillo de Sancho III de Navarra, mucho más deteriorada) y está considerado como la fortaleza románica mejor conservada de Europa. Destacan la pequeña capilla, la cripta de santa Quite ría, situada a la entrada (con una increíble acústica) y la majestuosa iglesia del castillo (de la que se desconoce el paradero de las pinturas románicas) en la que llama la atención la cúpula (por lo poco habitual que es en el románico).
