因此，孔家子孙世代接受历朝君王的厚遇，往往在军阀割据时期，孔家甚至代表了失传玉玺的作用，一旦他们站到了哪一边，那么不管这个军阀如何不堪，都被披上了神圣、王道的光环。
衍圣公这个天下仅有的敕封又分为南宗北宗，当年宋高宗赵构因受金兵进犯所迫，举朝南迁。此时在山东已被御封“衍圣公”的孔子第四十八代嫡孙孔端友及其部分孔氏族人，也一起携带了那对“孔家传世珍宝”———孔子夫妇楷木像及画像，随后南渡至浙江衢州落脚。次年，高宗又御准孔端友等在衢州兴建孔府孔庙，在此生息。而未随驾南迁的，则仍留在山东曲阜。至此孔氏后裔，便形成了南北二宗。
绍兴二年，孔袭封为衍圣公。暂时留居在州的孔子世家决定定居在衢州。他们多次请求在州建立家庙，到了绍兴六年宋高宗赵构“诏权衢州州学为家庙”。从此时起，孔氏宗子一脉就在州生息。起初，家庙“时尚草创，即为家庙，酌田供礼，未有定数”。
这年，宋高宗颁赐铜印，赐田五顷，以供族人祀祭。孔氏南迁者才逐渐安定下来。从宋高宗到以后的四代皇帝，都遵从了宋高宗地这一旨意，直到宋理宗宝元年才准许州知州孙子秀之请，拨款三十六万，兴建了第一座孔氏衢州家庙，以州州学权代孔氏衢州家庙的局面，才告结束。州官孙子秀也因建孔氏州家庙，而升为太常丞。
到了南宋王朝末期，形势发生了根本变化，宋理宗端平元年，蒙古灭了金王朝。按照蒙古与南宋订立的协议，灭了金之后，南宋王朝即可收复失地、回汴京。然而，蒙古却违了约。南宋不光没有收复中原，反而失去更多的疆土。在州定居的孔子世家，再也不可能回到山东去了。宋理宗于宝元年，以现实的态度，准州知州孙子秀之请，在衢州为孔子世家，兴建家庙。
元朝建立后，至孔氏五十三代孙时，元世祖欲统一孔氏二宗，让南宗仍回归山东。而南宗五十三代孙却申奏朝廷，意谓已有五代祖先在衢，舍之不忍，并愿将世袭之“衍圣公”封号让于北宗孔氏族弟承袭。自此，南宗失其爵位，社会地位日衰，后曾一度沦为平民。直至五十九代孙时，才又被朝廷册封为“五经博士”爵号，子孙世袭。然而因其衰落了几个朝代，加之衢州地处浙南，乃历代兵家争夺要地，南宗孔庙屡遭浩劫，远不如北宗山东曲阜孔府孔庙保存完好。故人们至今只以北宗曲阜的孔氏家族为正宗。
因此，此时南渡的衍圣公共有两个，一个是北宗的孔兴、一个是南宗的孔兴，清军入关之后，将南宗地家主也一并迁往了曲阜，这两兄弟原本在家里教导子弟，坐享尊荣，不问外事地，可是山东瘟疫流行之后，巡抚杨文定听从康熙旨意，下令驱逐疫民，曲阜县也是山东境内，疫民甚重，作为孔家后人，两兄弟从小家教森严，他们所要做的，自然是维护祖先的清誉，因此广设粥棚，潜出孔门子弟一道上阵，为疫民看症，在这个世代，读书人多多少少都懂些医理的，因此也救活了不少人，可是这个时候，杨文定却来了。
对于曲阜孔家，杨文定再大的胆子也是不敢放肆地，但是上头交代下来的任务不能不完成，因此乖乖下了拜帖，末尾还加了个学生杨文定敬上，可是左等右等，孔家硬是没有搭理，杨文定淡定地吸了几个口气，又奉上了名帖，这一次又加了几分恭敬，可孔家是吃了秤砣铁了心，仍是没有一点回应。没有办法了，杨文定只能不请自去，刚刚到了门口，却给人拦住了，拦住他的正是南宗衍圣公孔兴，孔兴指着杨文定便是破口大骂，更扬言杨文定不是儒家子弟，倒行逆施，要开革他的功名。
孔家虽有开革功名之权，但是对于杨文定这种封疆大吏来说，最受不得的是孔兴的侮辱，这件事若是传了出去，他杨文定还好意思出来见人吗？当下，杨文定并没有发作，只是讪讪告辞，回到济南之后，立即发下签押，令人强行入曲阜驱人，反正这是皇上的旨意，他也不怕生事。几日之后，如狼似虎地差役和绿营兵冲入曲阜，开始一个村一个村的放火，驱逐疫民。
而孔家两个
被这样地暴行惊呆了。他们从小家教森严。所学地(子。圣人地那一套。哪里看过这样地事。两个人心灰意冷。只能坐在家中听着高墙之外地号哭。
又过了几个月。一支刘国轩带领地明军突然闯入山东海丰县。杨文定自然忘却了这一档子事。他办差得利。还得了皇上地赏赐。因此便辅助京城来地满洲中军营开始组织进剿海丰地明军。谁知道杨文定亲属地抚标营突然反了。不但放跑了明军。还突然杀回了济南。一时间防禁并不森严地济南城被抚标营杀了进去。杨文定逃跑。这支抚标营在接了家眷之后。知道这里四周都是敌人。也不敢在