唐朝设置修文馆(后改弦文馆、昭文馆)大学士,后来又置集贤院大学士,元和年间后,唐朝大学士由宰相兼领。五代后梁曾置金銮殿大学士。宋初,沿唐制,宰相分兼昭文馆、集贤殿大学士,其后又置观文殿、贤政殿大学士,用以优礼前任宰执。
到了明初,明太祖废除两千余年来的丞相制度,直接由皇帝亲统六部。由于工作内容实在过于庞大,洪武十五年(公元1382年),朱元璋不得不设殿阁大学士,为皇帝顾问。一开始大学士并无实权,类似今日的秘书之职。
清朝的大学士官职是沿用明朝之制。清初在盛京(今辽宁沈阳)建。都后,清太宗皇太极在天聪十年(公元1636年),改文馆为内三院,即国史院、秘书院、弘文院,各置大学士一人,此为设立大学士之始。清朝入关后,顺治十五年(公元1658年)改内三院为内阁,始有殿阁大学上。清初的大学上为五品,或以重臣兼领,或赐尚书、侍郎职衔以崇之。
乾隆十三年(公元1735年),开始设三殿三阁:保和殿、文华殿、武英殿;三阁:东阁、文渊阁、体仁阁。每殿阁设大学士一员,正一品,其班位次序不以殿阁为序。从此后的相当长一段时间内,大学士都是清朝廷内的重臣担任,参与军国要政,可谓位重权高,当时被称作清朝的宰相。谁若当了武英殿、文华殿或文渊阁等殿阁的大学士,则被称为“去阁拜相”。
到了雍正时设军机处,清朝廷内的军机大臣们忙起来。慢慢地,清朝的军国大事更倚重军机大臣,而大学士渐渐成了一种荣誉称号。