Este edificio, construido en la Edad Media, fue a la vez castillo y palacio. Cuenta con un núcleo central construido en la Edad Media, de planta cuadrangular con patio y restos de cubos en el extremo este, complementado por varias ampliaciones, la más significativa de las cuales es la fachada principal construida por Carlos V. En esta fachada de gran sobriedad destaca la portada de acceso compuesta por un arco de reducidas dimensiones con una sencilla decoración a base de un alfiz con bolas. Sobre ella aparece el escudo imperial con el águila bicéfala.
Al entrar en este edificio, se terminará transportado en el tiempo, ¡y como si estuviera caminando por la historia!
La construcción primitiva del castillo se atribuye a Sancho Abarca de Navarra; su ampliación y fortificación en 1190 a otro rey navarro, Sancho VII apodado el Fuerte. En el año 1200 se confirma la existencia de un castillo en este lugar con motivo de la toma de Gipuzkoa por el rey castellano Alfonso VIII.
Según la cartografía de 1797, el edificio constaba de seis plantas con diversas dependencias para la tropa, cuerpos de guardia, almacenes, vestuarios, almacenes de pólvora y munición hechos a prueba de bombas, calabozos, cabellerizas, laboratorio mixto, etc. Sus bóvedas de piedra aún soportan una plataforma o terraza superior que estaba dotada de diez piezas de artillería y, según los planos de 1737, estaba protegida por un tejado.
Según un acuerdo tomado por el Ayuntamiento el 25 de mayo de 1966, «el castillo de Carlos V pasó de nuevo a manos del Estado para su renovación y acondicionamiento como Parador de Turismo bajo las directrices del Ministerio de Información y Turismo».