En la primera etapa de Esteban Vigo en el Xerez, en la temporada 2003-2004, el técnico malagueño relevó en el banquillo del Deportivo a Carlos Orúe, cesado tras perder 0-1 en Chapín ante el Almería, resultado que situó al Xerez décimo sexto en la tabla con diez puntos (un triunfo, siete empates y dos derrotas).

Dos días después de caer ante el Almería, Gil Silgado cesaba a Orúe y fichaba para al dirección deportiva del club a 'Poli' Rincón, al que le encomendó la misión de contratar al nuevo entrenador.

Cinco días más tarde el Xerez jugó en Málaga con Manolo Ruiz dirigiendo al equipo, con derrota por 5-2 y con Esteban Vigo en las gradas viendo al que días más tarde sería su nuevo equipo.

Esteban Vigo debutó al frente del Xerez cayendo 1-2 con el Getafe, aunque dirigió el partido desde la grada porque todavía no había acuerdo con Orúe por el finiquito. Se sentó por primera vez en el banquillo en Vitoria, donde el Xerez empató a un gol con el Alavés.

Estuvo al frente del equipo durante 29 jornadas, en las que logró 43 puntos, fruto de once triunfos y 10 empates, ya que los otros 8 partidos los perdió. En esas 29 jornadas el Xerez marcó 39 goles y encajó 34.

El Xerez, en una hipotética clasificación elaborada con los resultados de las 29 jornadas que Esteban Vigo estuvo al frente del equipo azulino, ocupaba el séptimo puesto; esa temporada el Deportivo acabó la Liga noveno, con 54 puntos.