Temporada 1980-1981 Las consecuencias del polémico encuentro de La Rosaleda en la temporada anterior, que produjeron la inhabilitación de Mesones y Paniagua, provoca inestabilidad en el club y, a final de temporada, la UDS acaba bajando a Segunda división. Nemesio Martín Montejo, Neme, exjugador del equipo, es contratado como entrenador, aunque en ocasiones seguía Mesones a la sombra. El inicio es desolador y tras nueve derrotas y dos empates en once encuentros, es destituido Neme. Su puesto lo ocupó Juan Muñoz, pero al no tener título de entrenador, se recurre a José Murcia Agudo para poner el carné. Muñoz estaría sólo seis jornadas y Murcia sería quien concluyera la temporada. El descenso llega en San Mamés tras una contundente derrota por 6-0. No es la inestibilidad en el banquillo la única que afecta al club, sino que en la directiva la situación es similar. Juan Bautista Alonso Duel sustituye, de forma temporal, a Paniagua tras su inhabilitación. Alonso Duel tuvo sus discrepancias con varios miembros de la Junta Directiva como Javier Rey, Ángel Mazas, Manuel Hernández, Sebastián Polo y Juan José Hidalgo, que abandonaron sus cargos. El 8 de enero de 1981, Francisco Ortiz de Urbina Díez vence en las elecciones y es proclamado nuevo presidente del club charro. El 28 de mayo de 1981, el Comité Superior de Disciplina Deportiva absuelve a todos los implicados del encuentro en La Rosaleda de la anterior campaña, excepto al jugador Castronovo. Demasiado tarde para la UDS. El mismo Paniagua declaró, al presentar su dimisión del Comité de Competición, "al Salamanca le ha descendido la Federación Española". En Copa, el equipo charro llegó a cuartos de final, cayendo contra el Athletic Club. También hubo problemas en el filial, ya que los jugadores fueron a la huelga para protestar e intentar conseguir las deudas en concepto de primas, bonificaciones y fichas que el club mantenía con ellos. El equipo no llegó a un acuerdo en los contratos televisivos por lo que no se televisó ningún partido de la UDS durante la temporada. El presupuesto del club charro era de 227.700.000 pts, (1.368.504,6 €) y la deuda del club ascendía a 155 millones de pesetas (931.568,8 € aproximadamente). Para intentar solventar esta situación, el club se dedica a realizar traspaso de jugadores.
Temporada 1981-1982 El aragonés Manolo Villanova es el nuevo entrenador y se comienza la pretemporada planificando el equipo en busca del ascenso de nuevo a Primera división. Victoriano Reyes se hace cargo de la parte deportiva del club y se contratan jugadores para suplir la marcha de varios jugadores.
La AFE convocó una huelga que provocó la suspensión de las dos primeras jornadas. La causa fue una ley que obligaba a alinear dos jugadores menores de 20 años para buscar nuevos valores de cara al Mundial que se jugaba en España a final de temporada. La ley no se llegó a cumplir por el rechazo generalizado.
La Liga empezó de buena forma para el equipo unionista, que pronto consiguió situarse en los primeros puestos de la tabla, pero al final de liga el equipo parece desinflarse sufriendo varios malos resultados. Para incentivar a los jugadores, la directiva toma la medida de poner precios populares en el partido contra el Sabadell. El estadio se llenó y el equipo consiguió la victoria, que encadenó una racha de buenos resultados. La penúltima jornada, el equipo estaba preparado para celebrar el ascenso, pero no pudo ser ya que el Elche CF se llevaba la victoria.
Todo quedó para la última jornada contra el Burgos en el El Plantío con 10 000 charros en la grada. Las cosas se pusieron mal ya que a los 11 minutos Cholo adelantaba a los burgaleses, pero a 3 minutos del descanso Orejuela consigue el empate. Orejuela, otra vez, y Brizzola marcaron para el equipo charro en la segunda parte, pero se sufrió al final debido a la expulsión de Herrera y Pedraza y por el penalti transformado por el Burgos. Al final del partido, los charros invadieron el campo y sacaron a hombros a los jugadores, que posteriormente fueron recibidos en la Plaza Mayor de la ciudad.
En la Copa, el equipo jugó cinco rondas, siendo eliminado en octavos de final por el Real Zaragoza.
Temporada 1982-1983 Dos meses después que ganara en España el Copa Mundial de Fútbol de 1982, comienza la temporada con un equipo reforzado para afrontar con garantías la temporada. Ángel Lozano y Luis García son ascendidos al primer equipo, este último convocado por Chus Pereda para algunos encuentros de la selección Sub-18. La temporada empieza irregular alternando victorias y derrotas. Contra la Real Sociedad, Pedraza cae lesionado para el resto de la temporada, algo que marcaría el destino del conjunto charro. En el partido contra el Athletic Club en el Helmántico, se pordujeron graves incidentes, lo que llevaron a la clausura del estadio. El partido de sanción fue en Copa del Rey contra el Barcelona Atlético, se jugó en el Príncipe Felipe de Cáceres, y acabó 1-1. En el partido fuera de casa contra la UD Las Palmas, al que se desplazaron 500 aficionados charros, perdió la UDS por 4-1 y se lesionó D'Alessandro, lo que provocó el debut bajo los palos de Lozano. A partir de ese partido, la Unión encadenó una racha de buenos resultados. En la segunda vuelta, el equipo no estuvo muy afortunado, sobre todo fuera de casa, donde lo máximo que se conseguía eran empates. Estro provocó que el equipo se situara en zonas peligrosas, pendientes de otros resultados para no caer en zona de descenso. La permanencia llegó en el penúltimo partido de Liga, que se jugó en el Helmántico frente al Valencia CF. El equipo acabó 13.º. En la Copa el equipo llegó a octavos de final, siendo la Real Sociedad el equipo que pasara la eliminatoria. A final de temporada, se ideó una competición por eliminatorias que jugarían los equipos de la Primera división española que no habían conseguido ganar ningún título: la Copa de la Liga. La UDS fue eliminada por el Atlético de Madrid tras un 0-0 en casa y un 4-1 en tierras madrileñas. Se construyeron torretas de iluminación del estadio para posibilitar la retransmisión de los partidos en color. El lateral Miguel Ángel es convocado por Miguel Muñoz para jugar un partido amistoso ante la selección de extranjeros de la liga en beneficio de los damnificados por las inundaciones de Levante. Victoriano Reyes dimitió por motivos de salud. Este hecho provoca una pequeña crisis en la Junta Directiva, ya que era una pieza fundamental.
Temporada 1983-1984 En una temporada marcada por las tensiones y dimisiones, Francisco Ortiz de Urbina continúa al frente de la Junta Directiva. La Liga comienza floja para el equipo charro. En la 3.ª Jornada la UDS el equipo cae por 6-3 en San Mamés y, la siguiente Jornada, eclipsada por la entrada de Andoni Goikoetxea a Maradona, fue también polémica para el conjunto charro, ya que el club es multado con 100.000 pesetas (94,58 €) debido a incidentes de los aficionados debido a la actuación arbitral. Tras este encuentro, se coloca un túnel móvil a la entrada de los vestuarios para proteger al árbitro y a los jugadores de los objetos arrojados desde la grada. D'Alessandro se lesiona en el partido del Santiago Bernabéu y no puede volver a jugar en toda la temporada. Lozano es de nuevo el encargado de defender la portería charra. El 6 de noviembre contra el Valencia CF fue cuando la UDS rompió la racha de siete meses sin ganar. Hubo una tímida reacción, pero después de la victoria contra Osasuna el equipo volvió a entrar en una dinámica negativa que lo hundiría en la tabla de clasificación. 18 de marzo de 1984: La UDS juega su partido 300 en Primera división en el Estadio Helmántico, frente a la Real Sociedad. El partido acaba 0-0 con rumores de cambio en el banquillo. A falta de 4 jornadas la UDS firmaba su descenso matemático. Fue en el Estadio de Sarriá contra el RCD Español y el equipo perdió 3-0. El equipo acaba la temporada en 18.ª posición, con 19 derrotas, 10 empates y sólo 5 victorias. En la competición de Copa, la Unión cae en la tercera ronda contra UD Las Palmas. En la Copa de la Liga, la UDS quedó emparejada con el Mallorca. En la ida disputada en las islas, los mallorquines encarrilan la eliminatoria al vencer 3-0. En la vuelta, el 13 de mayo de 1984, Balta, un jugador de la cantera que había estado cedido en el Orense, debuta con el primer equipo.
Temporada 1984-1985 Juan Muñoz, el secretario técnico del club durante esta temporada, hace fichajes de cara a buscar el regreso a Primera división. D'Alessandro deja de ser jugador del equipo pero permanece en el club en el cuerpo técnico. Felipe Mesones comienza como entrenador del equipo, aunque no llegaría hasta el final de la temporada. El equipo del Tormes tiene un mal comienzo de Liga, tardando cuatro jornadas en conseguir la primera victoria. Se consigue una dinámica muy positiva en los partidos como local, pero fuera la UDS no conseguía ganar. En el equipo se echa en falta un goleador nato que aproveche las numerosas jugadas que crea el equipo, que tan solo consiguió marcar 23 goles en los 38 partidos del campeonato. El 16 de enero de 1985, Felipe Mesones presenta su dimisión tras perder contra el Depor por 3-0, justo un día después de que en las urnas saliera vencedor Javier Rey, sustituto de Ortiz de Urbina en la presidencia. Fue Juan Muñoz quien se haría cargo del equipo, aunque tampoco estuvo muy afortunado y no consiguió enderezar el rumbo del equipo. Después de seis jornadas, regresa al banquillo charro José Luis García Traid, pero ya era tarde para arreglar la situación y, a pesar de que el equipo charro llega con opciones de permanencia al último encuentro en Tenerife, contra el CD Tenerife, cae derrotado por 1-0 y el equipo desciende al pozo de la Segunda B. Por una huelga protagonizada por la AFE debido al poco protagonismo de los jugadores por la recién creada Liga de Fútbol Profesional en el mes de septiembre, se toma la solución de jugar los encuentros de la jornada con jugadores no profesionales. La UDS juega contra el Athletic Club con juveniles en ambos equipos. El partido, jugado en San Mamés acabó con 3-0. La UDS tuvo una participación efímera en Copa del Rey, y tras disputar dos eliminatorias, el equipo cae contra el Real Valladolid.
Temporada 1985-1986 Javier Rey Harguindey llega con buenas ideas y propósitos para hacer renacer al club de sus cenizas. Es contratado D'Alessandro como director deportivo, aunque la suerte del club en los fichajes no es la deseada, ya que no se hacen del todo según las necesidades del equipo. Se hace una renovación casi total en la plantilla, llegando varios jugadores jóvenes desde filiales de grandes equipos. Luis María Astorga se hace cargo del banquillo del equipo, tras la polémica surgida por no renovar a Traid como técnico del primer equipo ni a Miguel Losada como entrenador del Salmantino, tras 14 años en su puesto. Ambos acabarían trabajando en el Celta de Vigo. Enrique, carismático jugador del equipo, pasa a las oficinas del club al ser hombre de confianza del presidente y deja el fútbol activo después de haber dedicado su vida a la UDS. No empieza muy bien la temporada y se ficha a Ángel de los Santos, exjugador de la UDS que había estad jugando en el Real Madrid. Dos meses después del inicio del campeonato, la situación del equipo es pésima y son destituidos Astorga y D'Alessandro. Fernando Redondo se hace cargo del equipo, aunque es Enrique quien se sienta en el banquillo, ya que Redondo prefiere presenciar los encuentros desde la grada.