"Serviço público" é um termo relativamente novo para descrever um conceito relativamente velho: uma burocracia composta de funcionários treinados para "eficientemente" realizar as funções do governo, já que o(a) sobrecarregado(a) monarca obviamente não podia fazer isso ele(a) mesmo(a). A frase foi empregada pela primeira vez pela administração britânica na Índia e popularizada por Sir Charles Trevelyan um século atrás quando a Grã-Bretanha estabeleceu um teste para aqueles que queriam servir a coroa (fora do âmbito militar).

As origens do serviço público remontam à China (eles inventaram o papel, afinal). A dinastia Qin estabeleceu o primeiro império chinês centralizado e com isso veio a necessidade de uma administração burocrática. O recrutamento para o serviço público era baseado em recomendações de agentes locais e, em 124 a.C., o Imperador Wu de Han estabeleceu uma universidade imperial para treinar e testar futuros oficiais. Na época da dinastia Tang, nomeações dependiam cada vez menos de recomendação e mais de provas. Todo o sistema se expandiu durante o governo de Wu Zetian e chegou ao seu auge durante a dinastia Song. As provas testavam a memorização dos Nove Clássicos do Confucionismo e a habilidade do candidato de compor poesia e também sua caligrafia... obviamente um burocrata é mais útil se souber ler e escrever.

No Ocidente, foram os bem organizados romanos que definiram os padrões para as burocracias que se seguiram. Valendo-se da educada ordem equestre, e os nomeando em cargos de responsabilidade em sua administração, o Imperador Augusto fundou o serviço público imperial. Suas noções de negócios os tornaram especialmente adequados para administrar províncias distantes e garantir que a soberania romana não perdesse força. Os equestres podiam já esperar por uma boa carreira nos tempos de Cláudio, tornando-se procuradores ("agentes do imperador") e então oficiais, que podiam servir em locais próximos e distantes, encarregados de qualquer coisa, como os bombeiros ou o suprimento de grãos. Embora os detalhes variem pelos séculos desde então, as coisas não mudaram muito no serviço público.