三千餘名學生舉著“取消二十一條”“還我青島”“誓死力爭”等標語，在遊行示威總指揮的傅斯年帶領下，浩浩蕩蕩向當時的外國使館區東交民巷前進。
遊行隊伍整齊，氣氛嚴肅，受到狂熱氣氛的感染，所有人都忘記了恐懼，成了凜凜正氣滿心間的勇士。忽然一陣大風，吹得漫天塵土。學生在風中用力舉著旗幟，繼續前行。
遊行隊伍在東交民巷西口被巡警阻止不得通過，隻能向美、英、法、意等四國使館遞說帖。
四國公使無一出麵,因為當天是星期日,他們都不在使館,“隻有參讚出來接見,表示同情”。
傅斯年、羅家倫、段錫朋等四個學生代表和東交民巷的官員通過數次電話以後,被推選進入美國使館,留下說帖。
給美國公使館的說帖寫道：“1915年5月7日二十一條中日協約,乃日本乘大戰之際，以武力脅迫我政府強製而成，吾中國國民誓不承認之。青島山東一切德國利益,乃德國以暴力奪去，而吾人之所日思取還者。具以對德宣戰故,斷不承認日本或其他任何國繼承之。如不直接交還中國,則東亞和平與世界永久和平，均不能得確切之保證”。
傅斯年等學生代表與中國警察、四國使館交涉過程中,大部隊在使館外苦等約兩小時。本就是群情激憤的場麵，這等待的時間裡又積聚了更多的火氣。
人群中有人說，這自家土地已不許我們通行,真是奇恥大辱,這一切都是賣國賊造成的。
這時候，隊伍裡有人高喊“大家往外交部去，大家往曹汝霖家裡去”，於是憤怒的人群潮水般地向趙家樓湧去。
這出乎總指揮傅斯年的意外，他曾經想極力阻止，但人們的情緒已經失控。
此時此刻除了從眾已經沒有彆的選擇，傅斯年隻能舉起了大旗,率領隊伍直奔曹汝霖的宅邸趙家樓。
遊行的隊伍浩浩蕩蕩地開到了趙家樓胡同，曹宅的大門早已緊閉，由於房屋圍牆太高，無法翻入，盛怒之下的學生將旗子擲向院內，高喊“賣國賊曹汝霖快出來”。學生們的情緒越來越激昂，但無法衝進門去。
北京高等師範學校數理部的學生匡互生，發現大門右側有一個窗戶。隻見這位少年時代練就了武功的匡互生，縱身躍上窗台，一拳將窗戶玻璃擊得粉碎，兩手用力一掰，把窗戶上的小鋼筋拉彎，然後一躍而入。緊接著，又有四五個同學爬了進去。
匡互生等迅速將笨重的大門打開，如鯽如鱗的群眾一擁而入。
入宅前已傳說，被當時的人們稱做賣國賊曹汝霖、章宗祥、陸宗輿正在曹家開會。人們湧入內宅搜尋，隻碰見了到曹家做客的章宗祥。人群把怒火都發到了章宗祥身上，將其痛打一頓。
這時，擔任遊行大會主席的段錫朋所發現，匡互生取出預先攜帶的火柴，將屋內易燃的帳子、掛畫、信件集中起來，準備點火。
他急忙阻止匡互生說：“我負不了責任。”
匡互生回答：“誰要你負責，你也確實負不了責任！”說著，已經把火點燃。
這便是著名的五四運動中的“火燒趙家樓”。
匡互生（1891年11月1日—1933年4月22日），字人俊，號務遜，又號日休，湖南邵陽東鄉長沙村人。
這個來自清末民初革新風氣最為硬朗的省份之一湖南省的學子，辛亥革命時，在長沙邵陽省中學讀書的他，曾跟隨長沙革命軍攻打巡撫衙門。在參加遊行的前一天晚上，與相知好友月下密談，決計為國犧牲，寫好遺書，將後事托囑友人，說：“我死後，要家人知道。我為救國而生，為抗敵而死，雖死無怨。”這個時候的他，應該是有備而來，是打定主意，乾件驚世駭俗之事。
眼見趙家樓大火驟起,傅斯年知道事情已經無法挽回。此時,他冷靜地做了件聰明事,“把他一本日記簿,上麵寫著許多代表名氏,往火裡一丟,馬上燒掉了。”這個舉動對學生代表起到了保護作用。
果然,這場火引來了滔天大禍。學生們火燒趙家樓的同時,北洋政府就采取了行動,在現場抓了三十二名學生,其中大部分是北京大學的學生,包括段錫朋、傅斯岩、許德珩、楊振聲、江紹源、易克嶷等活躍分子都被北洋政府投入了監獄。其中傅斯岩是傅斯民正讀北大預科的弟弟。
避風頭的傅斯年沒有馬上回北大,而是當晚才回。第二天,學生會召開臨時會議。在商量下一步的對策時，形成了兩種意見。
在任何運動中，總會有激進和溫和的人群，傅斯年顯然是屬於溫和派的。會上，他和一個叫做胡霹靂的爭論得特彆厲害。年輕人火氣大，爭著爭著兩個人還動起手來，一怒之下，傅斯年因此而當眾宣布，退出學生會，說完後便拂袖而去。大家本來是要選他當學生會臨時主席的，這樣一來隻能另選他人了。
傅斯年固然是在氣頭上做出退出的決定的。所謂衝動是魔鬼，傅斯年倉促做出的這個決定，肯定有衝動的成分，但應該也不完全是衝動的產物。
他出於那樣一個溫良恭儉讓的家庭，讀了那麼多的書，可以肯定，他是希望他帶領的這支遊行隊伍，能夠進行和平示威，對於火燒趙家樓，他肯定是有保留的。但是，事情的發展，和他的預想，是有很大落差的。也就是說，在活動中，他是做了不少的不情願和違心的事情。
很多人可能會說，群眾運動那能沒有過火行動，這當然不無道理。其實，更深刻的原因是，在追求民主和共和的道路上，當局和人民群眾，都要有一個學習的過程。比如，對於當局，不能因為有人上街遊行便認為是出了大亂子。而對於民眾，能夠在遊行示威中保持理性。堅持在合法的範圍內活動，這便是在民主製度下當局和民眾成熟的一種表現。
如果，傅斯民是個成熟的政治家，他就會對發生的事充分的理解了，但他不是，因此，這時候的他，心很亂，也很累。
再者，他做出這個決定，肯定與他的老師胡適有關。
很長的時間裡，意識形態在批判胡適的時候、常把他反對學生運動當作“反動”的證據，其實當時許多人都不主張遊行示威的。
魯迅是反對的，因為他看到中國學生的遊行示威的結果與外國不同，最終隻能得到犧牲。
李大釗也並未走在五四遊行的學生中間，因為他不希望看到太大的犧牲。
特彆是鼓吹“直接行動”和“犧牲精神”的陳獨秀，一九一九年五月二十一日因為北大學生不聽勸阻而上街遊行，曾經與蔡元培一起向教育部遞交過辭呈。五四運動爆發時，已經被免去文科學長職務的陳獨秀，也沒有像著名報人邵飄萍那樣走到前台去直接煽動學生。
有記載：“1919年6月11日晚上，陳獨秀到新世界散發《北京市民宣言》時，身邊沒有帶一名青年學生，而是邀請安徽籍的成年人胡適、高一涵、程演生、鄧初等人陪同前往。被捕之後他雖然表示認罪，卻沒有牽連到任何一個人。”
毫無疑問，在民主社會裡，遊行示威是民眾表達自己訴求、意願和主張等尋常的方式，是不同於起義和暴動的。