Antes del 1880 este palacio era la casa de unos de los mercaderes de cerveza más influyentes de la ciudad y es curioso que fuera el mismísimo Napoleón el que lo convirtiese en una residencia de reyes. Este palacio le perteneció desde su entrada a Holanda y es seguro que planeo algunas de sus batallas más importantes desde él.
A la caída de napoleón el palacio paso a ser propiedad de Holanda y el Reino unido y desde entonces, el cual ha sido residencia de los mandatarios extranjeros en la ciudad.
El ultimo habitante celebre fue el rey Alberto I desde el que llegó a estar al frente de las operaciones en la batalla del Y ser (Bélgica) que tuvo lugar entre el 16 y el 31 de octubre de 1914 y que sirvió para parar el avance alemán.
