朱阿夫師不費吹灰之力就奪回了被俄軍占領的英軍炮台，然後一直追擊俄軍到山腳下的聖克萊門山溝。甚至由於奔跑勢頭太猛，法軍還衝過了頭，徑直衝進了采石場山溝。
這裡擠滿了從山上撤下來的塔魯京斯基團士兵，當他們看到朱阿夫部隊朝自己衝過來，便驚恐地擠成一團，有的士兵試圖向法軍開火, 結果卻打中了自己人。
好在朱阿夫師士兵見俄軍人數眾多，擔心不是對手，趕緊選擇撤退，否則光是這場衝鋒就能讓塔魯京斯基團崩潰。
返回炮台之後，朱阿夫師發現英軍麵對帕夫洛夫部隊夾擊的右翼處境十分危險。
丹嫩貝格正指揮鄂霍次基團、雅庫茨基團和色楞金斯基團以及索伊莫洛夫殘存部隊的夾攻。
戰鬥非常殘酷，冷溪近衛團的威爾遜上尉回憶，一波又一波的俄軍端著刺刀朝他們衝過來，如果沒有被子彈打倒，就和他們展開手對手、腳對腳、槍口對槍口、槍托對槍托的搏鬥。
麵對人數遠遠超出自己的俄軍, 冷溪近衛團的守軍得到了卡斯卡特第四師下屬的、由托倫斯將軍率領的六個連增援。
新來增援的英軍急於參加作戰（他們錯過了阿爾瑪河之戰和巴拉克拉瓦之戰），當接到命令向炮台附近的俄軍發起進攻時，他們沿著山坡一路狂追下去，完全忘記了聽從命令，結果在近距離被俄軍雅庫茨基和色楞金斯基團從高處襲擊，卡斯卡特在一片彈雨中被擊斃，他的埋葬地點後來被稱為卡斯卡特山
這時，炮台裡的劍橋公爵的近衛團就剩下最後一百人，彈藥也打光了，但外麵仍有兩千俄軍。
於是劍橋公爵提議在炮台堅守到最後——為這個沒有重大戰略意義的據點做出愚蠢的犧牲。
好在他手下的參謀及時勸服了他:如果女王的侄子和她的近衛軍軍旗被帶到沙皇麵前，對英國來說將是一場災難！
於是近衛軍開始後撤，士兵們慢慢向後退，保證正麵對著敵人，手握刺刀做好接敵準備。當一名士兵倒下，不論是死是傷他的同伴必須馬上頂上他的位置。
近衛軍人數雖然越來越少，但一直保持著緊密隊形，眼睛眨都不眨地護衛著軍旗好在地形非常陡峭, 阻止了敵人從側翼發起襲擊。
當然，時不時還是有勇敢的俄軍衝上來試圖搶奪軍旗，這時兩到三個擲彈兵就會挺著刺刀衝出迎戰，直到將其擊退。
關鍵時刻，博凱思的人馬總算趕到了，對英國人來說法國人的身影從來沒有這麼受歡迎過。近衛軍士兵向著趕來的法軍士兵高呼：“法蘭西萬歲！”
法國士兵則回應道：“英格蘭萬歲！”
俄軍則被突然出現的法軍士兵嚇到了，立刻開始撤退，慌慌張張地往炮彈山跑，有部分比較勇敢的俄軍試圖留下來鞏固陣地固守，但俄軍整體的士氣遭受重創，在遭到法軍和英軍聯手攻擊的情況下固守陣地感覺勝算不大。
於是乎不斷有人在軍官注意不到的時候偷偷溜走，很快炮台裡就剩不下多少俄軍了。
有一陣子丹嫩貝格認為他依然能夠憑借炮火優勢取勝，他手裡有近一百門大炮，包括十二磅野炮和榴彈炮，數量比英軍多得多。
但到了九點半時拉格倫下令調來的兩門十八磅重炮終於運抵了現場開始向俄軍猛烈開火。
巨大的炮彈在俄軍炮位炸開，迫使俄軍炮兵撤退。
不過哪怕此時俄軍也沒有完全失敗，在高地上他們還有六千人，山腳下還有一萬兩千人預備隊，如果好好組織並不是沒有取勝的機會。
隻不過最終丹嫩貝格決定放棄進攻撤退，因為他發現己方的組織和指揮序列完全崩潰了，就是人數再多也發揮不了什麼作用。
隻不過當時在丹嫩貝格主力後方五百米位置觀戰的緬什科夫和受尼古拉一世命令趕到克裡米亞督戰的尼古拉大公和米哈伊爾大公並不喜歡這個決定, 他們一致要求丹嫩貝格收回撤退命令。
但丹嫩貝格辯解道：“殿下，如果不讓部隊撤下來，那麼就是要讓他們死戰到最後一人。我認為這對於奮戰了一個早上的士兵來說極為不公平也極為殘忍。如果您認為我的命令不對，那麼不如從我這裡收回指揮權，由您親自繼續指揮戰鬥！”
這番對話結束之後，兩人間激烈爭吵了很長時間，結果互相都不爽對方，都把戰鬥失敗的原因歸咎於對方，都不願意承擔失敗的責任，因為不管怎麼看俄軍兵力都占據絕對優勢，完全不應該輸。
於是緬什科夫怪罪丹嫩貝格，而丹嫩貝格則把責任推給了索伊莫洛夫身上，畢竟後者已經死了，死人是沒辦法為自己辯護的。最終黑鍋被甩給了士兵，將軍們一致認為是士兵紀律不嚴亂成一團才導致失敗。
其實吧，要說俄軍為什麼會失敗，原因其實很簡單，就是缺乏指揮。高級指揮官一團混亂，中低級指揮官又缺乏控製力。尤其是緬什科夫這個名義上的總指揮，講實話，這廝在戰鬥期間什麼都沒做，他主意全無沒有做出任何指揮也沒有人決策，簡直就跟路人甲一樣。
連尼古拉大公都在給亞曆山大皇儲的信中說：“戰鬥打響後，我們在因克爾曼橋附近等待緬什科夫親王，但是他直到六點半才離開屋子，那時候我們的部隊已經占領第一個陣位。我們和親王一直待在右翼，沒有見到哪位將軍向他彙報作戰進展士兵們不守秩序，是因為沒有人指揮他們一切紊亂都源自緬什科夫。更加難以想象的是，他竟然沒有作戰指揮部，他身邊一共隻有三個人。以他們的工作方式，如果你想了解什麼情況，都不知道該問誰！”
收到撤退命令後，俄軍開始在恐慌中潰逃，軍官沒有任何辦法阻止這場人肉雪崩，而英法兩軍還在後麵不斷用炮擊騷擾，讓俄軍的混亂更是無以複加