1922年8月，经萧友梅提议，北大音乐研究会改组为北京大学附设音乐传习所，“以养成乐学人材为宗旨，一面传习西洋音乐，一面保存中国古乐，发扬而光大之。”由校长蔡元培兼任所长，萧友梅作教务主任负责实际工作。为了培养合格的音乐教师，萧友梅还与杨仲子于1920年9月创办了北京女子高等师范学校音乐体育专修科。后经萧建议分成两个专科，萧任音乐科主任。由于萧友梅多年的奔走推进，北京的一些大专学校先后设立了音乐系(科)，音乐教育事业初具规模并引起世人注意。1922年全国实行新学制时，以前可上可不上的“乐歌”随意课改名为“音乐”课，并且规定为小学的必修课。
经过萧友梅的多年努力，北京逐渐成为全国的音乐中心，但是他梦寐以求的是要建立一所符合国际标准的音乐学院，为此，他多年向教育部提出计划，但都毫无结果。奉系军阀张作霖接管北京政权后，其教育总长刘哲1927年6月以“有伤社会风化”、“浪费国家钱财”为由，下令停办北京国立院校的所有音乐系科。萧友梅苦心经营了5年的北大附设音乐传习所也被迫解散。这时北伐军已经攻占了长江流域，蔡元培就职于南京政府，萧友梅也南下去寻求发展。
1927年10月1日，蔡元培就任南京政府大学院(后改为教育部)院长，经他力争，政府终于通过了萧友梅萧友梅创办国立音乐院的计划。萧友梅作为“音乐院筹备员”提出了一个按招生人数分年递加经费的5年计划，每年招生50名，需经常费每月3000元。至于所需的60000元开办费及校舍建筑费，财政部仅许以“于战争结束后即筹划拨给”的空头支票。头一个月的经常费还是萧友梅在孙中山大总统府时的同事杨铨为之力争来的。萧友梅10月24日收到此款，遵从杨铨“赶快筹备”的嘱咐，就用这3000元权充开办费，在上海创办了中国第一所专业高等音乐学府———国立音乐院。
音乐院租用陶尔斐斯路(今南昌路)56号为校舍，1927年10月26日登报招生,11月1日起报名。由于正常开学日期已过，投考者不多，好在招生广告上写明由著名教育家蔡元培担任校长，学生才逐渐增多。经过考试，共录取了23名学生。萧友梅被聘为国立音乐院教授兼教务主任。后蔡元培因公务繁忙，任命萧友梅为代院长。次年又聘任萧为院长，但他三次回函谦辞未就。
音乐院创办以后，因经费短缺而常不能按时交纳房租，院址不得不频繁迁移。1928年2月迁到霞飞路(今淮海中路)的两座洋房，8月又迁至毕勋路(今汾阳路)。由于学生增多，学院每月经常费加至5000元，但是财政仍然十分紧张。1929年6月，学生因宿杂费问题和校方发生冲突而罢课，并激发了学潮。萧友梅因此事向教育部提出辞职，国立音乐院宣告停办。萧友梅积劳咯血去莫干山养病。
适逢南京政府修正“大学组织法”，规定仅传授一种专门技术的学校都改为专科学校，萧友梅为此于1929年7月致函同盟会挚友，时任立法院长的胡汉民说明国内外的情况，希望仍单独设立音乐院，7月26日南京政府公布了“专科学校组织法”，萧的意见未被采纳。8月19日教育部长蒋梦麟聘请萧友梅担任国立音乐专科学校校长。原音乐院的学生需凭音专的通知重新注册。冼星海、熊乐枕、蒋凤之、陈振铎等12名学潮中为首的学生仅收到一张“学分成绩单”，被取消了入学资格。后来成为大音乐家的冼星海是萧友梅曾经帮助过的学生，他和其他几位同学被当局开除令萧友梅非常痛心。
萧友梅任校长以后，按照自己的理想尽力推进中国的现代专业音乐教育。经过数年坚持不懈的努力，终于使国立音专成为具有相当规模与国际水准的中国最高音乐学府。
