宰相杨愔的裁军计划获得了高演主导的一帮鲜卑官员的默许后，由皇帝高殷下诏令全国七十岁以上的军人授予名誉职位，六十岁以上的军官以及重病不胜其职的，一律让他们退休。
对于年届40岁以上的士兵，由朝廷一次性作出适当补贴后，一律退役返乡。此举一下子就将军队中的老弱冗员全都裁减了出来。
军队中显示出前所未有的朝气。军威、士气也提高了不少，进行军事训练时也声势过人。
杨愔眼见第一项措施获得成功，于是他果断地向全国各地的官员开刀，将那些靠关系、走后门，依靠贿赂上位的官员一个都不放过，并且大张旗鼓把无才无德、尸位素餐的不称职官员全部罢免。
杨愔对吏治的大规模整顿，毫不留情的淘汰不合适官员，致使朝野震动，人人为之哗然。
那些被黜免下来的佞幸之徒对杨愔心怀怨恨，纷纷投靠到二王（高演、高湛）手下，谋求将来东山复出。
在实施吏治整顿之前，杨愔为了表明对自己也不徇私，以身效法、榜样天下，他首先自行奏请皇帝高殷免除了他本人的开府封王爵位，以示自己不贪恋高官厚禄。
当时朝内亲王权力很重，常山王高演、长广王高湛和太皇太后娄昭君实际控制了北齐的军政大权。
自从高洋的执政后期变得疯魔无常后，高演就一直在背后忙于培植势力，一旦羽翼丰满就准备夺取皇位。
娄昭君一直压制着高演，不让他做骨肉相残的事，让他掌控军政大权也是因为高洋疯魔不理朝政的无奈之举。
杨暗的一系列改革，其中最为要害的地方就是动了鲜卑勋贵们的蛋糕，试想想，那些能走后门、谋关系的哪一个不是他们的派系官员？当中绝大多数贪污受贿的也是这帮人的下属亲朋。
这些人全都将矛头指向杨愔，杨愔选贤任能，当中多数是汉人，这就促使胡汉两派矛盾白热化。
这些鲜卑大臣齐集在一起，与高演商讨对策。他们说：
“大齐的江山，是我辈鲜卑将士追随神武帝血拼沙场打回来的，现在江山却落在汉人的手上，我等求常山王替我们主持公道。”
高演说：“诸位稍安勿躁，江山打了回来，也需要管治得好才能持续下来，这点相信大家都认同吧？”
众人听后默不作声。高演接着又说：“如果放任你们的亲朋故旧罔顾法纪，不理朝纲政策，任意妄为，这江山还能保得住吗？
现在是淘汰了一些不称职、不胜任的人下来，这本就是好事一桩，当然，杨宰辅利用自己手上的职权，大量任用汉人，这也有不妥之处，我们可以监督这批汉人官员是否一心为公，为国为民谋福祉，如果不是，我们也可以把他们拉下来。
这是很公平的做法，诸位暂且忍耐，本王断不会让人把父皇、兄长们打下的江山拱手让人的，这点请大家放心，本王也会一直在旁监督的。”
众人散去之后。高演入宫去太和殿向母亲娄昭君请安。俩母子坐下后，娄昭君说：“最近你和族人们都在嘀咕些什么事了？”
“回母后，儿子被他们围着脱不开身呢，他们对杨宰辅最近的改革都气晕了脑袋，一个个来到儿子面前要求为他们站台，儿子也是迫于无奈啊！”
“这帮族人也是贪得无厌之辈，恃着以往的功勋对朝廷苛索无度，你二哥生前滥封滥赏，现在只不过是收回一点而已，就诸多埋怨，演儿你不能纵容他们，否则杨愔的罪就白受了。”
“儿子明白，只是杨愔罢免了大量鲜卑官员，提上去的都是汉人来顶替，这样的话让他们心里不平衡，这也难怪他们心里不舒服的。”
“这事，母后知道了，你先不要做任何动作，只管静观其变，官员们不管是鲜卑人还是汉人，只要是尽忠职守，一心为国，忠于朝廷的都是好官，不能因为民族的不同就加以区别对待。”
“是，儿子知道了。儿子告退。”
娄昭君想着现在朝廷内部出现了两极分化，这是非常危险的事。她觉得有必要和杨愔等辅政大臣开个会议，讨论一下目前的危机处理问题。
于是，她命人去传杨愔入宫。
杨愔来到后，依礼向太皇太后请安，他说：“微臣叩请太皇太后金安，不知召微臣到来，有何吩咐？”
“杨宰辅近来动作频频，可谓大刀阔斧，朝野震动，可有想过这样做是不是操之过急了？”
“回太皇太后，微臣撤下来的都是朝廷中的大蛀虫，早些采取行动，就能早日还吏治的清明，库房已经无法承担得起被这一大批蛀虫来侵蚀了。”
“哀家明白宰辅的良苦用心，也敬佩你的高风亮节。可是心急吃不了热豆腐，饭总是要一口一口地吃，否则很容易被撑死的。
宰辅是个聪明人，应该不用哀家来说这浅显的道理。只是如今鲜卑官员中心怀不满的人颇多，总要安抚好他们，不然的话，一旦引起内讧，后果不堪设想啊！”
“微臣谢太皇太后的提点，微臣也回去反省，改善施政，务求让朝廷平稳发展，不会影响社稷江山的稳定。”
“既然宰辅明白，哀家就不便多言了，但愿能如你所愿，不会发生难以估计的混乱才好。”
“是，微臣晓得了，谢太皇太后的告诫，微臣告退了。”
“好，下去吧。”
杨愔出了太和殿，从心里吁了一口气，他对娄昭君说话的弦外之音并不认同，因为之前娄昭君就一直在栽培和支持儿子高演的原因，君臣之间就产生了隔膜。
杨愔与高演的政见有不同的意见，双方在某些治国理念上也有着较大的差别。相反，皇帝高殷是深受汉文化的教育和熏陶，皇太后李祖娥也是汉人文化的表表者，对于管治国家，他们都持有一致的思想理念，认为汉人的那一套才是最好的文治国策。
杨愔与娄昭君、高演等鲜卑代表在治国的方向上渐行渐远。杨愔更是察觉到高演和高湛两大权贵在朝廷中的影响深远，直接威胁着皇帝高殷的皇位宝座。