El Castillo de Steen significa literalmente la roca, es el edificio más antiguo de la ciudad, Se supone que se erige en la misma posición que otro que fue quemado en las incursiones vikingas en 836.
Ya hay referencias a este castillo en 650 de una fortaleza de madera con barro muro construido por los francos salíos que se quedaron allí, que sus antiguos dioses Thor y Freya . Los normandos destruyeron toda la vida en las orillas del Escalda en el año 836.
En 1200-1225 fueron reforzados los muros del castillo con muros ciclópeos de piedra de Tournai de a menos de 12 metros de altura respecto a los anteriores 6 metros de altura. Alrededor de 1520 bajo Carlos V fue renovada completamente de piedra.
Este amable castillo tiene sus piedras manchadas de sangre, La primera mención como una prisión data de 1303. Especialmente durante los disturbios religiosos del siglo 16 obtiene una temible reputación ya que se realizan muchas ejecuciones de herejes y durante 500 años así sigue. Hasta 1823 sigue siendo una prisión.
Por encima de la puerta de castillo permaneció conservada en el hueco el ídolo franco de la fertilidad Se mini donde acudían las jóvenes que deseaban quedarse encinta hasta que en 1587, .su principal atributo robado.
Tuvo un papel especial en el saqueo de Amberes donde se refugiaron las tropas leales españolas ante el asalto de las tropas flamencas y donde 1600 soldados aguantaron y rechazaron el asalto de una tropa de 20.000 amotinados, Desafortunada mente en las refriegas posteriores se quemó el ayuntamiento de Amberes.
