南衙禁军即南衙十六卫，这是基于府兵制设置的卫府制，即“卫”领“府”。而府兵制则是由西魏宇文泰设置的一种兵制，这种兵制一直延续到唐初，至唐玄宗时期土崩瓦解。卫府制就是在府兵制的基础上由北周武帝宇文邕设立的一种禁军制度，这种制度同样伴随着府兵制的瓦解而瓦解，南衙卫军沦为花瓶，起主要作用的只剩下北衙禁军。
唐朝时期的南衙禁军确实是由北周、隋朝时期的禁军制度完善而来的，北周武帝时期只是雏形，经过隋的改进，再到唐的发展，已经是相当的成熟，在唐初发挥了很大的作用。
四姑娘之前详细写过府兵制，这里简单介绍一下，府兵制的核心就是农兵合一，其任务有两个，其一为番上宿卫，其二为出征，其余时间就是从事生产，农闲的时候组织训练。宇文泰当初设府兵制的时候就是设了八柱国十二大将军，统领府兵。实际兵权全在皇帝手中。
北周武帝时期，设置司卫、司武两官，统帅府兵宿卫宫禁，再设武侯府用以统帅府兵在京城进行巡逻警戒，这是卫府制的雏形，当时的设置还是比较简单的。杨坚废北周静帝建立隋朝之后，开始将卫府制系统化。设置十二府以统帅府兵禁军，不过当时的十二府中只有六府（左右卫、左右武卫、左右武侯）统领府兵宿卫。
隋炀帝时期进一步完善，又增加了四府，即十二卫四府，也就是我们熟悉的十六卫，其中十二卫统帅府兵宿卫京师，这十二卫分别是：左右翊卫、左右骁卫、左右武卫、左右屯卫、左右候卫和左右御卫。剩余的四府中，左右备身府负责做皇帝的侍卫，左右监门府则掌宫殿门禁。
这十六卫到了大唐时期进一步完善，也就形成了我们后来熟知的十六卫：左右卫、左右骁卫、左右武卫、左右威卫、左右领军卫和左右金吾卫，外加不统府兵的是左右监门卫和左右千牛卫。唐初在全国设置六百多个折冲府，按照府的规格征府兵，有800人、1000人、1200人不等，折冲府中的长官是折冲都尉和果毅都尉。十二卫和太子六率遥领这些折冲府的府兵，他们定期轮流到京师宿卫。
出征的时候则由皇帝任命统帅，发下府契，由州刺史和折冲府对契，然后发兵，如果要求全员，则折冲都尉之下全部出动，如果要求大部分，则果毅都尉带领出动，如果要的兵员很少，则遣别将领部分府兵出动。回师之后，府兵回到折冲府，统帅回到朝廷，各不相干，最大程度的保证了皇帝的兵权。
因十六卫的府衙在皇宫的南面，因此又被称为南衙府兵，与之相对的则是北衙禁军，北衙禁军在唐初的规模相对于南衙府兵来说并不是很大。李渊当初领三万人自晋阳起兵建立大唐，后来天下已定，愿意回家的回家，愿意留下来宿卫的三万人就成了元从禁军，也就是北衙禁军，实行父死子继制。李世民从中选出百骑，又设北衙七营，置左右屯营于玄武门，守卫玄武门。
武则天时期，府兵制已经遭到破坏，尤其到了唐玄宗时期，多有府兵逃亡的情况，宿卫京师已经成了一个很大的问题，随后实行募兵制，南衙禁军逐渐没落，宿卫京师的任务越来越依靠北衙禁军。
