La posibilidad, estudiada anteriormente por Rommel, de resguardarse en la línea de Fuka, comienza a ser planteada en serio.
Aunque se había conseguido un cierto éxito frenando el último ataque británico en las cercanías de Tel el Aqqaqir, Rommel era consciente de que existía una profunda desigualdad de fuerzas: muchos de sus carros, tras varios días de intensos combates, habían sido destruidos o se encontraban averiados -el Afrika Korps sólo tenía, a estas alturas, 35 carros-; los suministros de combustible, municiones y víveres apenas alcanzaban una cantidad mínima; la moral de las tropas, por último, se encontraba bajo mínimos, lo que se traducía en movimientos de retroceso y desplazamiento a posiciones de retaguardia.
Confiando en lograr el permiso de Hitler para retroceder, mandó el retroceso de parte de las divisiones italianas. Sin embargo, Hitler, por medio de Kesselring, denegó la posibilidad de que se produjese una retirada que ya se estaba empezando a realizar, lo que obligó a Rommel a paralizar la operación. Conocido por Montgomery el desplazamiento hacia el este de sus adversarios, éste ordenó a su aviación que comenzase a hostigar a las columnas en retirada, lo que se interpreta como un exceso de precaución, pues no ordenó a sus tropas en tierra que iniciasen el avance sino hasta las primeras horas de la noche del 3 de noviembre.
El ataque de la 51 División y una brigada de la 4 División india se produjo a lo largo de un frente de 6,5 kilómetros, enfrentándose a los antitanque germanos. El éxito de la operación produjo una brecha en las defensas enemigas en la mañana del día 4, lo que permitió la entrada de tres divisiones blindadas. La entrada de los carros británicos produjo el descalabro de los blindados italianos del XX Cuerpo de Ejército y de la División Ariete. Más al norte, el Afrika Korps estaba siendo desbordada, cayendo apresado el mismo Von Thoma. El frente había quedado roto a lo largo de 20 kilómetros, y la ausencia de combustible y refuerzos hacía ya materialmente imposible obedecer la orden de Hitler de resistir a toda costa.
Decidido a salvar la mayor cantidad de hombres posible, Rommel emprendió la retirada con los escasos medios a su disposición, cuando en la mañana del 5 de noviembre llegó el permiso del Führer para retroceder. En la noche del 4 al 5 se produjo la retirada alemana, facilitada por las excesivas precauciones de Montgomery -quien decidió reagrupar sus tropas, lo que dio una ventaja de 18 horas a las fuerzas del Eje- y la negativa de la RAF a castigar con vuelos rasantes y fuego de ametralladora a las columnas en retirada, en vez de los menos eficaces bombardeos a gran altura.
Ya estaba claro que la diferencia de fuerzas, tras una larga batalla, permitía a los británicos emprender una operación de aniquilamiento de los restos del Ejército enemigo, pues el Octavo Ejército podía arrollar con sus 600 tanques a los 80 alemanes. La persecución del enemigo en retirada la encomendó Montgomery al X Cuerpo de Ejército, reorganizado ahora al integrar a las divisiones blindadas 1ª y 7ª y a la 2ª neozelandesa. Por su parte, el XXX Cuerpo de Ejército quedaría en reserva entre El Alemein y Marsa Matruh y el XIII se mantendría sobre el campo de batalla para realizar labores de limpieza. A pesar del retraso con el que comenzó la persecución, las fuerzas del Eje a punto estuvieron de ser cercadas en Marsa Matruh, pero la operación finalmente no llegó a completarse debido a la detención de la 1ª División blindada por falta de combustible.
Este hecho permitió a Rommel organizar una retirada escalonada y bien defendida, facilitada por las excesivas precauciones de los británicos. A pesar de ello, cientos de vehículos y hombres a pie marchaban por la única carretera, dejando al lado vehículos averiados o sin combustible. Por si fuera poco, una fuerte lluvia producida el día 6 embarró la arena del desierto, circunstancia que, no obstante, favoreció a los perseguidos, pues paralizó durante un día entero los movimientos británicos. Llegado a Sollum bajo un constante hostigamiento aéreo, Rommel pudo hacerse con combustible suficiente para algo más de un centenar de kilómetros, dependiendo a partir de entonces de los suministros por aire.
El 12 de noviembre pasó por Tobruk, mientras que el 19 lo hizo por Benghazi, encaminándose hacia Mersa el Brega. En plena retirada, Rommel tuvo conocimiento el 8 de noviembre de que se estaba produciendo la Operación Torch, el desembarco aliado en las costas norteafricanas. Aunque arrolladora, probablemente la ocupación aliada del norte de África hubiera sido mucho más fácil de haber aniquilado Montgomery al ejército de Rommel en retirada, lo que hubiera evitado los violentos combates que se producirán más tarde en Túnez y, con ello, miles de muertes. El fatal resultado de la batalla en cuanto a víctimas humanas difiere según las fuentes citadas (Fuller).
Rommel afirma que, entre el 23 de octubre y el 19 de diciembre, las bajas del Eje se elevaron a 35.700 hombres, desglosados en 2.300 muertos (1.200 italianos), 3.900 heridos (1.600 italianos) y 27.900 prisioneros (20.000 italianos). Para Alexander, que ofrece cifras entre el 23 de octubre y el 7 de noviembre, en el Eje se produjeron 10.000 muertes, 15.000 heridos y más de 30.000 prisioneros. El mismo Alexander sitúa las bajas inglesas en 13.500, entre muertos, heridos y desaparecidos, y más de 500 tanques.