前邊提到過了，趙元任擔任第二組（語言學）主任後，製定了二個很宏偉的計劃：即語言研究和語音實驗室建設。語言研究方麵，動員語言組所有研究人員，把國內漢語方言和非漢語方言調查一遍，整理出調查資料，供以後研究參考。語音實驗方麵，要建造一個大規模的語音實驗室，把調查的語言材料用儀器灌成音檔保存，以便使用。
趙元任為什麼如此重視方言調查呢？因為他認為：“精通一個漢語方言，是了解全部漢語的準備”。
方言作為地域性的語言交際手段，同樣具備語音、詞彙、語法等基本要素，是一個完整的語言體係。各方言中豐富多彩的語言現象，為語言學的研究提供了最有價值的資料素材。研究方言具有“解剖麻雀”之功效。
早在中央史語所成立前的1927年秋，趙元任就帶著助教楊時逢，到江蘇、浙江的吳語區域各縣的鄉鎮調查吳語方言。
楊時逢在《追思姑父——趙元任先生》中回憶當時的調查情形：“從南京沿著京滬杭鐵路，每站下車，如鎮江、丹陽、無錫，再乘小火輪船到宜興、溧陽，又轉回無錫……各處尋找學校學生做發音人，記錄該處方言。有時一天跑二三處，常常夜間找不到旅館，連小的客店也找不到，隻好借宿在鄉間農村人家。”“想起那時京滬鐵路的交通，還算方便的，尚且如此，後來在那些鄉下找發音人記音，實在也太辛苦了。”
楊時逢（1904—1989），安徽石埭人，20世紀知名語言學家，一生治學專注於漢語方言的調查和研究。他的姑母楊步偉是趙元任的夫人，因此他的人生軌跡和治學曆程與趙元任有著非常緊密的聯係。
1926年，楊時逢自金陵大學畢業。同年7月他到清華學校研究院擔任助教，一直到1938年趙元任赴美，在此期間他一直作為趙元任的助理，協助趙元任的教學、語言調查和研究工作。
楊時逢先是擔任清華學校研究院的助教，後又轉去“中央研究院”曆史語言研究所，並最終被評為研究員，這樣的經曆，與其姑父趙元任有很大關係。在很大程度上，我們可以將楊時逢的個人學術發展歸功於趙元任的指導、培養。正因此，他的生活經曆、治學方式，都無法脫離趙元任的影響。
楊步偉曾經記到：“時逢多年來不貪不爭地屈在人下也不在乎……耐貧守拙地在中央研究院元任名下幾十年了。”
而趙元任能夠有這樣一位勤懇、認真、負責的學術助手，也是一種莫大的幸運。正因為有了像楊時逢這樣耐心、細致的助手來承擔繁雜的助理工作，他才能夠集中精力專注於創造性的學術研究，他在語言學研究和漢語方言調查等方麵取得的成就同樣離不開楊時逢的無私協助。
調查了一個多月後，回到北京的趙元任繼續整理調查的材料，寫成了《現代吳語研究》一書。這是第一部運用現代語言學的方法，用國際音標記音，通過田野實地調查完成的漢語方言學著作。該書記音準確，語音分析細致深入，審音嚴謹，是這一時期漢語方言調查研究的代表性著作。
進入中央史語所後，趙元任第一件事就是進行兩廣粵語調查。粵語複雜難懂，其語音與共同語差距很大，趙元任選擇粵語方言作為自己到任後的第一項工作，除了他對兩廣方言在漢語方言中的重要地位的認識外，也是他對自己的學識和技藝提出的新的挑戰。
他在《台山語料》序言中說，廣東是“一個方言最豐富的區域，所以第一部調查就是兩廣方言，一方麵想法子多得點語言的材料，一方麵想法子利用向來沒有很用過的語言記錄跟語言分析的新工具無論在標音方法上啊，或是音位論的分析上啊，哪怕是錄音的新機器啊什麼的，我們都想好好地試他一試。”
這次調查對趙元任意義非凡，可以說對他一生的工作都有重要的影響。他後來在海外教授粵語，出版《粵語入門》，他的粵語工作被世界廣泛地承認和運用，除了自身不懈的努力外，與這次全麵而紮實的粵語調查密不可分。
在那個交通閉塞，生活條件艱苦，社會治安也很不好的年代，搞方言調查是一件既特彆辛苦，也是件很危險的事。
方言調查對調查人的要求特彆高，無論是專業水平還是人品。
而且方言調查還要特彆講求方法，比如李方桂。
導師薩皮爾是如何指導李方桂做調查的呢？對此，李方桂作了如下描述：“我們同發音人坐在一起，老師問他怎麼說這個、怎麼說那個……發音人就把問題譯成他的語言。他說，我同老師各自都記下來。整個過程老師並沒有看我的筆記，也沒有問我……發音人說什麼，你就記下來，千萬不要學著他說。如果你必須學著他說的話，必要等著他把這一串話說完了以後，再仿著他說。記完後，你可以問他，是這樣說嗎……你要聽得好，不要老仿著他說，你也許會說錯，他也許改正你一回、兩回，第三回再錯他就也許說ok，你就那樣說吧……有時候當然也可以請他再說一次，可是彆叫他重複太多，一方麵他累了，二方麵他煩了。”
在經曆了如此的田野調查、資料整理的專門訓練後，薩皮爾說：“好了，你可以出師了。你完全熟悉如何發問、如何處理資料、如何對付發音人了。”顯然，這一過程中“音”始終處在最重要地位。在沒有錄音機的時代，李方桂練就了耳聽手記的“錄音”本領。
1929年回國後，李方桂將這種本領應用到了中國少數民族語言調查、整理與研究之中，憑借著自己的語言天分和紮實的聽音、記音能力，縝密的思維和精確的分析，為中國少數民族語言尤其是中國西南地區的侗語、傣語研究建立了不朽功勳。據前中央研究院院士丁邦新統計，李方桂曾在雲南、廣西、貴州等地調查侗傣方言20餘種，足跡遍及中國西南部，堪稱“國際侗傣語語言學界的第一人”。他的著作《比較台語手冊》將傣語分為3支：以泰國標準語為代表的西南支、以廣西龍州土語為代表的中支和以雲南剝隘話為代表的北支，並擬測了古傣語的聲母、韻母、聲調係統。
抗日戰爭時期，李方桂為暫避戰火而徙居西南，這為這位深諳田野調查之道的語言學家大展身手提供了不可多得的地域優勢和豐富的少數民族語言資源。其間，他進行了四五次田野工作，曾至貴州調查侗水語、苗瑤語，到四川調查嘉戎語。據其妻子徐櫻回憶，李方桂調查時常要帶上其得意弟子，有一次他帶學生馬學良至雲南路南縣彝族撒尼語區調查，無桌椅、床凳，隻能睡地板、吃煙熏的食物。
方言調查工作大都按照趙元任所擬計劃進行，從 1934 年到 1937 年，語言組全部研究人員參加了語言調查工作。漢語方麵的調查由趙元任直接領導，非漢語方麵的調查由李方桂負責。
在史語所遷台以前的20年裡，語言組的學者們在全國範圍內進行了廣泛的語言和方言的調查。其中比較重要的，在漢語方麵，有湖北、湖南、江西、四川、雲南、福建、廣東等省的全省性漢語方言調查。在少數民族和其他語言方麵，有廣西、貴州、雲南、四川等地的僮侗語、苗瑤語、藏緬語的調查。主持這些調查的趙元任、李方桂，參加調查的丁聲樹、董同和、吳宗濟、張琨、楊時逢等，都是很有成就的語言學家。他們所調查的湖北、湖南、四川、雲南等地的漢語方言，和龍州土語、武鳴土語、莫話、水語、麼些話、西藏口語等非漢語的材料，都已有專書出版。
語言組還在南京的北極閣建立了語言實驗室，用科學實驗的方法對各地語言進行分析。
據楊時逢回憶，“語音實驗室的建造，共分為四大間，關於設計、繪圖等一切，也都是趙先生親自策劃的。曾經在美國訂購隔音紙板及其他隔音設備，如雙層玻璃窗、四層隔音板門等。室內的四麵牆壁及天花板地板，全部都用八層隔音紙板鋪成，下麵加上地毯。隔音的完備，真是無以複加了。又向國外訂購語音實驗的各種儀器，如最新式的錄音機數架（那時錄音用的儀器非常笨重，如一個很大的擴音器，一個大的十二寸的電動轉盤，另外發音的電容微音器，還用上兩個大水電池），都是灌製鋁片音檔的儀器。此外還有，音浪計（記聲調用的）、音叉，留聲機及其他實驗儀器數十種，在當時差不多是應有儘有了。”
語音實驗室成績斐然，“調查的語言都灌製鋁片音檔，將近千張。此外並購置各國語言會話留聲片二十餘套（每套大約二十四大張），還有中國各地戲劇、相聲唱片，都是為研究方言之用，也有六、七百片。……凡參觀史語所的人，除了看古物及藏書外，語音實驗室也是他們所讚賞的，在當時可以稱謂東南亞首屈一指的了。”
語音實驗室的建立是趙元任對中國語音學的一大貢獻。大量音檔的灌製為深入而精確的語音研究提供了材料，語言組利用實驗室完成了不少研究語言材料的工作。遺憾的是，由於中日戰爭戰事頻仍，史語所被迫撤退到後方，研究工作中斷。
趙元任和第二組的研究。開啟了中國語言學的一個新時代。在此之前，清代樸學家通常進行的語音分析並未憑借近代科技，中國的語音學帶有很大的主觀性。而趙元任將自然科學的理論方法和設備技術運用於語音學研究，使中國的語音研究走向科學化和精確化。