「行政部門」是一個相對新鮮的術語，描述的卻是一個比較老舊的概念——由訓練有素的官員組成的官僚機構，目的是「高效地」運行政府（因為過度勞累的君主顯然不可能獨自處理所有事務）。這一表述方式最早是由英國駐印度的行政機構傳播開來，並且在100年前由查爾斯•脫利衛連爵士廣泛普及，當時英國為那些想為女王效力的人設立了考試（不同於參軍）。

行政部門的起源可以追溯到中國（畢竟，他們發明了紙）。秦朝建立了中國歷史上第一個中央集權制的帝國，因此需要一個官僚機構。官員建議通過選拔來招人進入行政部門，西元前124年，漢武帝興建太學並以此培養和測試准官員。到了唐代，官員任命越來越少地依賴建議而更多地依賴科舉考試。在武則天統治時期，整個選拔系統得到發展並在宋代達到頂峰。科舉考試測試的是考生對儒家九部經典的記憶以及考生作詩和書法的能力…如果政府官員能夠讀寫，這顯然對執政很有幫助。

在西方，組織嚴密的羅馬人為連續的官僚機構設置了標準。通過吸收受過良好教育的騎士階層，並讓他們擔任政府的要職，奧古斯都大帝創立了皇家行政部門。他們的商業背景使他們尤其善於管理遙遠的省份，並且確保羅馬統治不會被動搖。在克勞狄一世統治期間，騎士可以預期的良好職業生涯是最終成為一名檢察官（「皇帝的代理人」），然後是地方行政長官，其工作地點可能在國外也可能在國內，負責從消防隊到糧食供應等所有大小事務。雖然過去了幾個世紀，細節有所不同，但是，行政部門從那以後並沒有發生太大的變化。