1920年3月,萧友梅回到北京。他以其渊博的学识和早年的革命经历及同国内政界高层人士的关系,要谋得一个薪位高的职务并不困难;但是他决定实现自己的理想,毅然选择了开创音乐教育事业的艰苦道路。当时,音乐专业并不受重视,在高等学校里不过是附庸,有的与美术合在一起称为图音系,有的与体育合在一起称为音体系,有的更是大杂烩称为图工操练。萧友梅于1920年9月被聘为教育部编审员,兼任北京高等师范(北师大前身)附设实验小学主任。时任北京大学校长的蔡元培很器重萧友梅的为人和才能,萧友梅也很赞同蔡元培“以美育代宗教”的主张,于是应邀担任了北京大学中国文学系音乐讲师兼该校音乐研究会导师。
萧友梅声誉日隆,吸引住许多学生来学习音乐。他还建立了我国第一个管弦乐队并亲任指挥。这个乐队的前身是清末民初海关税务局的管弦乐队,一共只有17个人。乐队虽小,但从1922年底到1927年将近五年的时间,却开过四十余次音乐会,演奏了海顿、莫扎特、贝多芬、舒伯特等音乐大师的作品,为北京群众介绍了不少西方音乐艺术知识。
1920年9月,萧友梅与杨仲子共同创办了北京女子高等师范学校音乐体育专修科,后经萧建议分成两个专科。1922年8月,经萧友梅提议,北大音乐研究会改组为北京大学附设音乐传习所,“以养成乐学人才为宗旨,一面传习西洋音乐,一面保存中国古乐,发扬而光大之”。传习所由校长蔡元培兼任所长,萧友梅作教务主任负责实际工作。1926年,萧友梅又兼任北京国立艺术专门学校的音乐系主任。萧友梅十分重视由师生共同参与的、定期的音乐会。这些活动不仅大大丰富了当时北京的社会音乐活动,而且对中国新音乐文化的发展也具有深远的影响。
1927年6月,北洋军阀的教育部以“有伤社会风化”、“浪费国家钱财”为由,下令停办北京所有国立院校的音乐系科。萧友梅苦心经营了五年的北大音乐传习所也被迫解散。萧友梅愤而辞职,随蔡元培南下去寻求发展。
1927年10月,蔡元培就任南京政府大学院(后改为教育部)院长。经他力争,政府通过了萧友梅提出的关于创办国立音乐院的计划。这个中国第一所正规的高等专业音乐教育机构于同年秋在上海正式成立,并立即开始公开招生。萧友梅最初任教务主任,主持日常行政工作,同年12月被任命为代理院长,1928年9月被正式任命为院长。1929年,国立音乐院改名为“上海国立音乐专科学校”,萧友梅被任命为该校校长。他按照自己的理想尽力推进中国的现代专业音乐教育,经过数年坚持不懈的努力,终于使国立音专成为具有相当规模和国际水准的中国最高音乐学府,为中国培养出不少优秀的音乐人才。这些人才中的大多数后来成为推动中国音乐事业发展的骨干力量。
从20世纪20年代开始,直到1940年12月31日逝世于国立音专的校长位置上,萧友梅以他毕生的精力,为中国现代音乐教育的发展作出了重大的贡献。他是中国现代音乐师范专业教育和音乐艺术专业教育的创始人。他把重视学校音乐教育、重视师资队伍建设、重视音乐创作和重视音乐专业教育作为中国现代音乐教育发展与建设的核心工作。他不但撰写了《古今中西音阶概说》、《中国历代音乐概略》、《最近一千年来西乐发展之显著事实与我国旧乐不振之原因》、《复兴国乐我见》等专著,还编著出版了《新学制唱歌教科书》、《新学制乐理教科书》、《新学制风琴教科书》、《新学制钢琴教科书》等教材。
作为一位作曲家,萧友梅的大部分作品写于20世纪20年代在北京工作期间。他的声乐作品中有一定数量是他联系当时的社会现实,提供给一般群众演唱的。如曾经作为北洋政府颁布的“中国国歌”《卿云歌》,以及《五四纪念爱国歌》、《华夏歌》、《民本歌》、《国民革命歌》等。这些歌曲表明了萧友梅鲜明的爱国立场和民主思想。例如《五四纪念爱国歌》:
五四,五四,爱国的血和泪洒遍亚东大陆地,雄鸡一鸣天下白,同声击贼贼胆悸,爱国俱同心。壮哉此日,壮哉五四!
五四,五四,自由的血和泪洒遍亚东大陆地,为民众而争正义,军警刀枪都不顾,精神冠古今。壮哉此日,壮哉五四!
不过,纵观萧友梅一生的音乐创作,其重要的领域仍是学校歌曲创作。这些歌曲通过对学生生活的描述,向学生进行思想道德教育和审美教育;有的也反映了对当时军阀统治下的中国社会现实的不满以及对国家前途和命运的忧虑。这方面的作品有《南飞之雁语》、《晚歌》、《植树节》、《柏树林回旋歌》等。它们都受到学生的热烈欢迎。其中流传最广的,则是被公认为优秀作品的《问》:
你知道你是谁?你知道年华如水?你知道秋声,添得几分憔悴!垂垂!垂垂!你知道今日的江山,有多少凄惶的泪?你想想啊;对,对,对。