府兵制源起于北魏时期鲜卑人当兵、汉人务农的政策。府兵全家可以免除赋役，当兵成为鲜卑人的专利．到了北周后期，迫于形势，汉人也被募充作府兵。

公元590年，隋文帝下诏，“魏末丧乱，宇县瓜分，役车岁动，未遑休息。兵士军人，权置坊府，南征北伐，居处无定，家无完堵，地罕包桑，恆为流寓之人，竟无乡里之号，朕甚愍（mǐn，怜悯）之。凡是军人，可悉属州县，垦田籍帐，一与民同。军府统领，宜依旧式。罢山东河南及北方缘边之地新置军府。”

——《隋书•高祖纪》