Tras el cese de Toni Oliveira, el presidente Francisco Escobar nombró al ex jugador sevillista como nuevo entrenador del primer plantel. Durante su permanencia al frente del equipo, el Sevilla lograría eliminar al Olympiakos griego en la segunda ronda de la Copa de la UEFA, cayendo posteriormente frente al FC Barcelona. En el campeonato liguero, tras unos comienzos dubitativos y una posterior reacción del equipo, una serie de malos resultados provocarían su destitución a comienzos de 1996.
Juan Carlos Álvarez volvería a dirigir al Sevilla hasta en dos ocasiones más a lo largo del último lustro del siglo XX. Durante la temporada 1997/98, en un último intento por asaltar el ansiado ascenso a Primera División, Álvarez sustituiría a Vicente Miera, quien a su vez ya había sustituido a Julián Rubio. Sin embargo, el Sevilla FC finalizaría el campeonato en séptimo lugar, lejos de los puestos que daban derecho al gran objetivo de ascender de categoría. Apenas un par de años después, durante la temporada 1999/00, ya con el Sevilla en Primera División, Juan Carlos Álvarez volvería a ser requerido por la directiva del club nervionense para colocarse al frente del primer equipo, que se encontraba ocupando el farolillo rojo en la tabla clasificatoria. Durante esta tercera y última etapa como entrenador de la primera plantilla, a pesar de los esfuerzos en la labor del asturiano, el Sevilla se mantendría como último clasificado hasta el final de temporada, certificando así su descenso a Segunda División.