1902年初，山西巡抚岑春煊即遵朝廷谕旨将令德堂（1883年由时任山西巡抚的张之洞创办）改设为山西大学堂。设立的原由是因1901年初宣布实行所谓“新政”，兴办学堂为其教育改革之主要内容。同年，清政府下诏，“除京师大学堂应切实整顿外，着各省所有书院牞（[jiū]）于省城均改设大学堂，各府厅直隶州均设中学堂，各州县均设小学堂。”此为中学专斋，初办时，设有高等科和三年制预科，教学内容和教学方法基本承袭了令德堂旧制。所上课程分经、史、政、艺四科。于1902年5月8日正式开办，接受令德堂和晋阳书院（始建于1530年）的学生。
1904年中学专斋进行了整顿，特别对课程设置进行了较大的改革，高等科分为两类，一类以文为主，一类以理为主。旧课程只保留经学一门，其他一律取消，增设了英文、日文、法文、俄文、代数、几何、物理、化学、地理、历史、生物、图画、音乐和体操等课。
西学是由在山西传教的英国传教士李提摩太向清政府提议，用山西教案赔款中的50万两白银用于在太原创办一所中西大学堂。于1902年6月7日于清政府签订协议，分十年，每年5万两白银用于山西大学堂的教学及建设。初办时只设有预科，教习多为外籍人，教学内容和方法基本上与英国学校相同。开设的课程一般是近代学科，有英语、数学、文学、法律、物理、化学、采矿、格致、西洋史、世界史、体操、图画等，并开有物理和化学实验课。为解决西斋教材不足的问题，李提摩太等还曾于1902年至1908年在上海开设了山西大学堂高译书院，此为中国第一所大学译书院。翻译出版了各种高等、中等和师范学校教材和名著，为引进和传播西方先进科技知识和学术思想起到了重要作用。后来，经过一定发展，西斋于1906年开办了法律、矿学和格致三个专门科，1908年又开办了工程科。
1912年，清政府倒台后，改名为山西大学校，中学专斋与西学专斋的建制取消，设立了预科和本科，预科分为一、二两部，一部为文法科，二部为理工科，均修业三年，本科分文法工三科；1914年，山西省省立工业专门学校并入；1918年，改名为国立山西大学，是全国三所国立大学之一；1931年改名为山西大学，1934年8月，山西省省立法学校、山西省省立教育学院并入；1938年春被迫停办，1939年9月山西省省立工业专科学校、山西省省立农业专科学校并入，并于1939年12月在陕西三原复课。1940年3月，川至医学专科学校并入；1949年，中国大学理学院并入山西大学，同年6月法学院法律系并入北京大学。
新中国建立以后，在经历第一次院系调整时（1952年开始），文理两院合并并独立建校，初始名称为山西师范学院。工学院中的冶金工程系与众多大学冶金系（包括清华大学采矿系等）合并组建北京钢铁工业学院（现北京科技大学）；纺织工程系和采矿工程系并入西北工学院（现西北工业大学）；机械工程、机电工程、土木工程、化工工程合并独立建校为太原工学院（现太原理工大学）；医学院独立建校为山西医学院（现山西医科大学）；法学院并入中国人民大学。
1959年，恢复山西大学建制，于1961年与山西师范学院合并，校名不变，1962年山西体育学院、山西艺术学院并入。
