古时的“大学”除了指儒家经典《大学》外，还指聚集在特定地点整理、研究和传播高深领域知识的机构。根据文献记载，大学作为一种具有高等教育职能的机构，可以追溯到五帝时期的“成均”和“上庠”。
大学正式出现于西周，当时学校分为大学和小学两类，统称“国学”。大学的教育内容以礼、乐、射、御为主。后来，凡天子所设的大学统称“国学”，诸侯所设的大学叫“泮宫”。西周时，还有一种叫“太学”的教育机构，是国家的最高学府，为帝王读书的场所。
汉武帝为教化子孙，在公元124年正式创建了我国第一所中央大学——太学，有弟子50人，主要传授儒家经典。到东汉时，太学生最多时达3万多人。
东汉灵帝还于光和元年（178年），在洛阳鸣都创立了我国最早的一所文学艺术大学——鸣都门学，专习辞赋、书画。学生由州、郡三公举送，学生最多时在千人以上，这些学生毕业后多被授予高级官职。
唐朝的教学学制已相当完备，中央官学即大学的教育内容不断增多，如书学、算学、律学、医学等专业相继开设。
宋朝时，大学又增设了武学和画学等专业。
明朝时，为和国外进行经济文化往来，永乐年间，宫廷翰林院又开办了我国第一所外国语大学——外语馆。
1898年，清政府为“广育人才”、“讲求时务”，创立了京师大学堂。
