森山松之助，1869年（明治2年）出生於日本大阪(父親森山茂是貴族院議員)；1889年畢業於學習院尋常中學校後，進入第一高等學校就讀；1893年罹患肺結核延後一年畢業， 嗣後進入東京帝國大學造家學科(今東京大學建築系)；1897年畢業，畢業論文探討屋架之應力與尺寸，畢業設計作品為「大學講堂」，畢業總成績取得第一名，是建築結構設備與設計皆優之人才。
畢業後，1898年於日本第一銀行建築事務所任職，協助測量繪製清水喜助所設計的第一銀行廳舍；1900年轉任東京高等工業學校建築學講師；1904年開始執筆寫作發表於每月發行的《建築學講本》， 並主筆撰寫＜日本建築沿革史＞、＜建築施工法＞、＜建築材料篇＞及＜材料構造強弱學＞等科目。
1906年於東京擔任臺灣總督府「囑託」一職，設計位於上野公園東京勸業博覽會臺灣館；1907年抵臺，惟因病仍僅任總督府囑託一職；1907年5月辦理臺灣總督府廳舍新建工程競圖公告；1908年1月公布第一階段競圖入選名單，森山松之助為七名入選者之一；1909年4月公布第二階段競圖結果，森山松之助並未獲選，但甲等賞也因故從缺， 競圖結束後，以獲得乙等賞之長野宇平治設計作品為藍本，再由總督府營繕課自行處理實施設計；1910年11月正式就任總督府營繕課技師，負責總督府工程實質設計及工事監造。
從1907年（明治40年）5月來臺，至1921年（大正10年）辭職返回日本止，在臺約14年，設計作品包括： 臺灣鐵路縱貫線通車式排樓設施、臺北電話交換室、臺北水道唧筒室、水道長官邸、 總督府臨時工事部廳舍、臺南郵便局、臺灣總督府官邸改築（今臺北賓館）、臺灣瓦斯株式會社、臺南地方法院、鐵道部、臺北州廳（今監察院）、臺中州廳（今臺中市政府都市發展局、環境保護局）、臺南州廳（今國立臺灣文學館）、臺灣總督府、新竹第一代神社、專賣局（今臺灣菸酒股份有限公司）、遞信部（今國史館）、臺南神社。
日治期間，象徵殖民統治權威之重要官廳建築，皆出自於森山松之助的設計，足見其個人才華及建築專業地位。