Este sobrio pero hermoso edificio fue construido bajo orden de Francesc Font de Roqueta, militar mallorquín y procurador real, en 1696 a partir de los dibujos del ingeniero Martín Gil de Gaínza, que en aquel momento se encontraba en Mallorca trabajando en la construcción de las murallas de Palma. La forma del patio se adapta a la de la muralla medieval y la escalera elíptica es obra del siglo XIX. El edificio toma el nombre del archiduque Carlos, el Marqués de La Torre, un pretendiente a la Corona española durante la Guerra de Sucesión.