前邊，我們分彆敘述了中央研究院曆史語言研究所第三組（考古學）和第一組曆史學的成就和業績，現在，輪到第二組（語言學）登場了。
從曆史語言研究所的名字，就可以看出對這個研究所來說，語言學和曆史學是同等重要。
傅斯年之所以將二者置於同一個研究所裡，有兩個方麵的原因。
其一，他認為曆史學和語言學都是在中國有著悠久曆史、良好研究傳統而當今又比較落後的學科，均可以用科學的治學方法加以改造、扶植和培養。
其二，他認為語言學和曆史學關係至為密切。早在學生時代，他就強調說，語言文字之學是讀一切書的門徑。後來他在歐洲用力研讀比較語言學，也有借此以治曆史學的想法。他生平最自負的著作《性命古訓辨證》，便使用了由語言學入手，進而討論思想史諸問題的方法。
雖然語言組的工作不像殷墟考古發掘那樣舉世矚目，但也取得了一些開創性的成就。傅斯年毅然擺脫中國傳統的語言文字學研究方法的束縛，拋棄章太炎的權威，聘請具有現代科學知識的語言、語音學專家，用科學的工具、實驗的方法，研究中國的語言學。
當談及第二組（語言學）時，就必定和一個人的名字不可分割，就是這個組的主任趙元任。
趙元任是中國現代語言學的奠基人，他最早運用現代的科學的學術方法，對現代漢語，從多方麵展開了深入而係統的研究，取得了豐碩的開創性的成果，在海內外享有崇高的聲望。
他極具語言天賦，對各地方言的差異非常敏感。
趙元任一生中最大的快樂，是到了世界任何地方，當地人都認他做“老鄉”。
二戰後，他到法國參加會議。在巴黎車站，他對行李員講巴黎土語，對方聽了，以為他是土生土長的巴黎人，於是感歎：“你回來了啊，現在可不如從前了，巴黎窮了。”
後來，他到德國柏林，用帶柏林口音的德語和當地人聊天。鄰居一位老人對他說：“上帝保佑，你躲過了這場災難，平平安安地回來了。”
1920年，英國哲學家羅素來華巡回講演，趙元任當翻譯。每到一個地方，他都用當地的方言來翻譯。他在途中向湖南人學長沙話，等到了長沙，已經能用當地話翻譯了。講演結束後，竟有人跑來和他攀老鄉。
趙元任曾表演過口技“全國旅行”：從北京沿京漢路南下，經河北到山西、陝西，出潼關，由河南入兩湖、四川、雲貴，再從兩廣繞江西、福建到江蘇、浙江、安徽，由山東過渤海灣入東三省，最後入山海關返京。這趟“旅行”，他一口氣說了近一個小時，“走”遍大半個中國，每“到”一地，便用當地方言土話，介紹名勝古跡和土貨特產。
趙元任這位被稱為“中國語言學之父”的奇才，會說33種漢語方言，並精通多國語言。研究者稱，趙先生掌握語言的能力非常驚人，因為他能迅速地穿透一種語言的聲韻調係統，總結出一種方言乃至一種外語的規律。
趙元任曾編了一個極“好玩兒”的單音故事，以說明語音和文字的相對獨立性。故事名為《施氏食獅史》：“石室詩士施氏，嗜獅，誓食十獅。氏時時適市視獅。十時，適十獅適市。是時，適施氏適市。氏視是十獅，恃矢勢，使是十獅逝世。氏拾是十獅屍，適石室。石室濕，氏使侍拭石室。石室拭，氏始試食十獅屍。食時，始識十獅屍，實十石獅屍。試釋是事。”。
故事說的是：有一個詩人姓施，住在一個石頭屋子裡，他喜歡吃獅子，發誓要吃掉十頭獅子。這位先生經常去市場尋找獅子。這一天十點鐘的時候正好有十頭大獅子到了市場。這時候他正好也到了市場。於是，這位先生注視著這十頭獅子，憑借著自己的弓箭，把這十頭獅子殺死了。先生扛起獅子的屍體走回石頭屋子。石頭屋子很潮濕，先生讓仆人擦拭石頭屋子。擦好以後，先生開始嘗試吃這十頭獅子的屍體。當他吃的時候，才識破這十頭獅屍，並非真的獅屍，而是十頭用石頭做的獅子。
這個故事通篇隻有“shi”一個音，好玩在於，寫出來看文字，無論如何是個完整的故事，雖然這故事不怎麼精彩，但是聽讀音，則任何人都不知道說的是什麼。
中國語言研究的萌芽早在先秦時代就發生了。到了漢代，語言學中的訓詁學首先產生，《爾雅》就是其中主要的代表作品。六朝至明代，中國漢語語言的研究以音韻學為主。人們認識到文字隻是語言的代用品，而有聲語言的重要性是不可替代的，這成為清朝時期“小學”出現的基礎。
清代是“小學”發達的時代。所謂“小學”也就是語文學。因識字是小學裡的事，故識字的學問被稱之為“小學”，後來這個詞發展成為學術專名。清代《四庫全書總目提要》把小學類分為了訓詁之屬、字書之屬、韻書之屬。大致而言，訓詁、字書和韻書分彆以字義、字形和字音為研究對象，它們的界限並不分明，時常兼涉。不過，可以肯定：“‘小學’是有關文字的學問；古人治‘小學’不是以語言為對象，而是以文字為對象的”。 也正是從清代開始，中國才有了嚴格意義上的語言科學。
清代語言研究雖較前朝有了長足發展，但它也有很大的不足：清代的語言研究也就是“小學”是作為經學的附庸存在的，而並不能成為一門獨立的科學；清儒研究語言的角度停留在複古上，不重視現在語言的研究，非但不能象西方一樣產生描寫語言學，甚至不能產生真正的曆史語言學。
總之，中國的語言研究基本上都屬於語文學範疇，而非嚴格意義上的語言學。語文學（ hilology ）和語言學 lguistics 是不等同的。語文學是對文字或書麵語言的研究，重在考證文獻資料和尋求訓詁，係統性不強；語言學則是以語言本身為研究對象，它所得出的是科學、係統和細致全麵的語言理論。
在一定意義上，我們可以說，真正的科學的研究中國的語言，是從趙元任和中央研究院曆史語言研究所開啟的。
趙元任對中國語言學的貢獻是以現代的語言作為語言學的研究對象，給中國語言學研究開辟了一條新路，給中國語言學的研究事業培養了一支龐大的隊伍。
趙元任第二組（語言學）主任後，製定了二個很宏偉的計劃：即語言研究和語音實驗室建設。
語言研究方麵，動員語言組所有研究人員，把國內漢語方言和非漢語方言調查一遍，整理出調查資料，供以後研究參考。
語音實驗方麵，要建造一個大規模的語音實驗室，把調查的語言材料用儀器灌成音檔保存，以便使用。