El convento de Santo Domingo permaneció como un conjunto unido hasta 1835, cuando las diferentes desamortizaciones de los gobiernos liberales del reinado de Isabel decretaron la exclaustración y la incautación de los bienes del convento. Aunque la iglesia continuó abierta al culto, los claustros fueron vendidos. En un principio los propietarios fueron los González, importante familia de bodegueros provenientes de la Montaña de Santander, quienes instalaron aquí el llamado Museo de Santo Domingo, en el que se vendían obras de arte, muebles y otros objetos de decoración. Luego el complejo pasó a ser propiedad de la familia Díez, quienes posteriormente vendieron Los Claustros al holding Rumasa, que fue expropiado en 1983, pasando el edificio a ser propiedad del Ayuntamiento, que lo utiliza como equipamiento cultural durante años.