趙郡李氏作為關東名族，據稱乃是戰國時期武安君李牧的後人，可謂傳承悠久。
哪怕真正有據可考的先人，也可追溯到西晉時期的李楷，據傳李楷乃是西漢廣武君李左車的十七世孫，雖然在此以前的先人世係略不可考，但自從李楷帶領族人們定居趙郡平棘縣之後，李氏族人們便在這一片土地上開枝散葉、茁壯發展。
趙郡李氏東祖、西祖、南祖定著三房，俱是李楷子孫，以各自宅居方位而定其房係，各自在鄉裡繁衍生息，鄉勢愈壯。西晉末年永嘉之亂，而後五胡亂華，河北大地可謂是民不聊生，趙郡李氏卻由於據地自守而發展的更加壯大，並且其族人在北魏時期頻為顯宦而獲得了更大的影響力。
像是北魏太和年間首倡施行均田製的李安世，便出身趙郡李氏東祖房。因為趙郡李氏族人們在北魏政局中越來越大的影響力，當太和改製的時候，趙郡李氏也正式成為北魏朝廷所欽定的崔盧李鄭漢人高門四姓之一。
趙郡李氏在政治上地位和影響越發顯赫之餘，在地方鄉勢上的發展也並沒有落後太多。自西晉時期，其宗族越發壯大，以最初的族地平棘縣為中心向四方進行遷移，逐漸的擴張到趙郡、南趙郡等諸縣之間。
後世所謂土豪之家，了不起族屬數千、擁地萬畝，但趙郡李氏的鄉資勢力那是真的跨郡覆縣，族居區域動輒百裡一計，房支族戶數千逾萬。
後世言及中古南北朝時期北方世族豪強等地方勢力的發展，往往會引用《北史》記載的一個例子“集諸李數千家於殷州西山，開李魚川方五六十裡居之，顯甫為其宗主”。
這一段文字講的便是趙郡李氏發展壯大的一個例子，當中所言李顯甫便是出身趙郡李氏東祖房。
李顯甫開李魚川並聚族人數千家居此，時間大約還在北魏太和年間，並非六鎮兵變的大亂之年，未必是為了躲避戰禍而築造塢壁以自保，更像是一個區域的族勢發展已經飽和，所以向彆處分流，繼續擴大其宗族勢力。
僅僅李顯甫便可以動員數千家族人開辟新族地，動輒便是方圓幾十裡，對鄉土人事的動員力之大已經不遜於州郡官府，足見趙郡李氏鄉勢之雄大。
李顯甫的兒子李元忠則猶有勝之，不隻在鄉裡是雄踞一方的豪強，威名赫赫震懾鄉裡群盜，更曾一度深刻影響天下大勢的走向。
當年高歡將入河北，李元忠親望迎接並為之出謀劃策，且還聚集鄉兵攻戰殷州，為高歡打通進入河北的道路，以至於高歡成事之後還笑言是李元忠逼其建義舉事。
趙郡李氏有著如此雄壯的勢力和光輝的事跡，其族人心中自然也都高傲得很。因此當大唐朝廷針對趙郡李氏的懲處傳到河北的時候，趙郡李氏族人心中憤慨便可想而知。
儘管這所謂的不赦之刑所針對的隻是趙郡李氏李憲一支，但李憲一家本就是趙郡李氏顯宗，單其一家人便幾乎占了東祖房的半壁，一旦接受了這個不赦之刑，對其一家政治前程的打擊可謂是毀滅性的，對整個趙郡李氏的聲勢也會造成極大的重創。
後世常以琅琊諸葛氏分事三國而論證中古亂世當中士族長袖善舞、見風使舵，但趙郡李氏與琅琊諸葛氏相比還是有所不同。
諸葛氏分事三國，恰恰說明了這個家族本身就沒有足夠強大的鄉勢和凝聚力，所以族人們才飄零諸方、各覓出路。但趙郡李氏在河北無論鄉資勢力還是政治影響都是第一流的，族人們之間的凝聚力自然也是很大，李憲一家又是顯支，即便是想做切割，一時間也很難切割清楚。
總之，當這一消息傳到河北之後，作為李氏族居地的趙郡、南趙郡等地便徹底沸騰了。且不說人人自危、羞憤有加的趙郡李氏族人，一些早已經高舉義旗歸附大唐的豪強態度也變得微妙起來。
這些豪強立足此項而成其勢力，多多少少都是與趙郡李氏有所牽連的。而且據史書所載，趙郡鄉裡每遇災荒，鄉人窮困難活，趙郡李氏便會放貸賑濟，過後又焚燒借據以悅鄉人。
拋開這為善鄉裡的表象不說，內裡所體現出來的本質，那可是趙郡李氏牢牢把持著鄉裡錢糧大權，老爺們如果不發善心，鄉人們便要難過活！這一片土地經過幾百年的經營，早已經被築造成一個蛛絲密結的巢穴！