FRENTE al convento de Santa María de Gracia se ubica la casa más conocida y estudiada de todas las que poseyeron los Ponce de León en Jerez. Su historia constructiva resulta compleja. Si hacemos caso a Fray Esteban Rallón, el origen del inmueble hay que vincularlo con Enrique IV, quien en 1456 manda a construir en él “su real aposentamiento” en la ciudad. El mismo historiador afirma que años más tarde, en 1464, el monarca lo termina donando a Esteban de Villacreces, noble jerezano que se había convertido en hombre de confianza del rey. Ya sea por su condición original de residencia regia, ya sea por haber servido de morada a una de las más potentes familias locales en la violenta Jerez de las banderías, cabe suponer que fue concebida como una vivienda fortificada. Como testimonios de ello queda la configuración de la fachada a la actual calle Sor Ángela de la Cruz, con su alto muro de cantería, hoy blanqueado, rematado por los restos de dos torres, quizás desmochadas.

Tras la muerte de Esteban de Villacreces a principios del XVI, la casa pasa a su hijo Francisco de Villacreces y de la Cueva. De la unión de este último con Luisa de Villavicencio nacerá Juana de Villavicencio. Es aquí cuando entran en escena los Ponce de León. Los Villacreces formaron parte del bando que apoyaba a este poderoso linaje, por lo que no nos debe extrañar que se establecieran lazos matrimoniales entre ambas familias. Así, Juana de Villavicencio logró casarse con Francisco Ponce de León, nieto del Marqués de Cádiz y hermano del Duque de Arcos. Pero en 1522 Juana muere prematuramente. Esa fatal circunstancia llevó a concertar una nueva boda entre Ponce de León y una prima de la fallecida, María de la Cueva. Será en este contexto en el que se geste la importante reforma renacentista que transformará la primitiva estructura medieval.