En la parte superior del jardín, en el Largo de Arrabalde, se descubre un palacio, la mansión del conde Sarmento, con piedra de Armas en el centro de la fachada. Se trata de un edificio que data de finales del siglo XVIII hasta principios del siglo XIX.
El Conde Sarmento fue consejero del rey, general de División de Campo y ayudante de Su Majestad Imperial, el duque de Braganza, adquiriendo las comendas de la Orden de Cristo, la Torre de Espada y Conceição, y fue distinguido con otras órdenes nacionales y extranjeras.
Fecha: finales del siglo XVIII a principios del siglo XIX.