El edificio era, originalmente, la residencia del obispo de Kamerrijk cuando se encontraba en Malinas. Margarita lo recibe como herencia. También se llamaba corte imperial porque el emperador Carlos residió en ella desde 1500 hasta 1515. El antiguo vestíbulo del palacio alberga en la actualidad el teatro municipal de la ciudad.
