Se edificó en 1440 por orden de los
Castillo, los señores de Santa María
del Campo y Fermoselle. Después de servir
como lugar de caridad perteneció a la
Orden de los Hijos de María Inmaculada
y en algún momento de su historia se
le denominó Palacio de las Cuatro Torres,
no por una razón arquitectónica,
sino por haberlo poseído el barón
de las Cuatro Torres.
