林灵素在徽宗的宠溺和支持下，为所欲为、嚣张跋扈、横行无忌，不但常常身居朝堂指手画脚，甚至干涉朝政、深度染指官员提拔等重大事项，权势爆棚，即便是一人之下万人之上的杨光华，宰相蔡京、太尉高俅，也无法跟林灵素相比，可谓风光权势皆无两。
可是，世间万事万物，总逃不脱一个规律，物极必反，水满则溢。
此时的林灵素，气焰熏张目中无人。无论在哪里跟蔡京、高俅相遇，总是蔡京高俅给他让道，而每一次给他让道之后，他还要昂首向天、耀武扬威的走过；而由于他带领道教徒跟太子带领的佛教徒争斗，最后徽宗判他的教徒胜出，而把太子所领导的佛教徒却全部刺面流放；还有他见到王爷们也从不让道不行礼，而是将王爷推开径直走过。
对林灵素的这些作为，朝中重臣，皇家王爷、太子都极为不满，林灵素已经是四面树敌。此时徽宗对林灵素的信任度依然坚挺，他自然更加嚣张更加张狂无忌。直到后来发生的几件事，才逐渐动摇了徽宗对他的看法，最终这根深扎在朝廷的毒刺才被拔掉。
政和八年三月三，乍暖还寒。林灵素又在上清宝箓宫讲经。但凡林灵素举行这样的大型讲经活动，徽宗都要亲临现场听讲。林灵素高坐讲坛，徽宗和陪同前来的礼部尚书蔡攸，随皇上一同坐在最前排中间。光看这派头，这阵势，就足以让所有到场者心生敬畏和仰慕。
当时，赴会听讲的道众达四千多人，上清宝箓宫广场挤得满满荡荡水泄不通，都毕恭毕敬、认认真真的坐着听讲。可唯独有一中年道士，昂然而立于最后，怒目而视林灵素。
这种情形，自从林灵素在京师传道、讲经以来，还是第一次遇到。林灵素很是恼火，就喝斥道：“你是何方道人？皇上和朝廷大臣，连同众多道友都静坐听讲，你有何能耐，竟然敢如此狂傲无礼？”
那道人毫不畏惧，镇定自若的答道，“贫道无所能。”林灵素火气更大，抬高嗓门气势汹汹地喝问：“既然你无所能，为何胆敢这样？”
那道人依然丝毫不惧，也高声反问说，“先生，既然您无所不能，那为何也这样？难道你不觉得这样有失你大家风范吗？”说罢，离席昂首而去。
徽宗看到这种情形，便急忙以小解为名，带着杨戬离开会场，让杨戬把那个道士拦住，叫到一旁，问他说：“刚才你跟林道长辩论，慷慨陈词，气宇轩昂。想必你定有超人能耐，不然你岂能敢跟林道长对峙？不知你到底有何能耐呀？能说与我知吗？”
那道士已知眼前站着的正是当今皇上，但也没有丝毫慌乱惧怯，而是镇定地拱手回道：“有何不可？贫道有雕虫小技，不值一提。”
徽宗就问：“何为雕虫小技？愿闻其详。”
道士便说：“只是能生养万物。”
徽宗很感纳闷，此人居然能生养万物，可见绝非等闲之辈。徽宗当即让杨戬带人在道院里寻找可以播种的东西，结果只找到了一小包茴香籽儿，交给了道人。在杨戬和两名御林军士兵的监视下，这个道人将茴香籽种在了墙根下。徽宗又派六个士兵监护着道士，在道院中住下来，想让其一道验证他所说的生养万物到底是真是假。
当时的天气，还没到播种时节，夜间依然寒凉。到了三更时分，那道士却忽然不见了人影。六名卫兵，每三人一组轮班值守，寸步不离，可就在卫兵的眼皮底下，这道人就凭空蒸发了，卫兵们四处搜寻，直到天亮也没见人影。
道家秘术，是徽宗最感兴趣、也最最重视的事。所以，徽宗前一天下午，就通知杨光华罢了早朝。天刚蒙蒙亮，徽宗早早起了床，要早点吃了饭去看稀奇。可刚起来，卫兵就来报告说，道士夜里跑了。他们分明寸步没离，可就是不见了。这消息，令徽宗很是失望，心想，看来是怕露馅，才跑掉了。
既然人都跑了，也就没什么必要再去看了。就按部就班吃好了饭，来到垂拱殿上班。那期间，徽宗的心思都在信道崇道传道和道家秘术上。所以站在龙案前，望着渐渐升起的太阳，满脑子里都是林灵素，都是道士们那些令他着迷上瘾的奇异法术。
“皇上您看！”徽宗正天马行空想入非非呢，杨戬突然跑到龙案前，把一盆郁郁葱葱、足有一尺高的青苗放在了徽宗面前。
“这是什么？”徽宗一愣，一边问着，一边就用手轻轻抚弄那看着养眼、闻着奇香的青苗。
杨戬一脸阳光灿烂地回道：“这是那道士昨晚栽上的茴香苗呀。这人也太神了！”
“啊？果真？”徽宗被惊得差点掉了下巴。赶忙带着杨戬又跑回到栽种茴香的地方，除了那六名卫兵因没接到撤走的命令，还在那里守着，已经空空如也了。徽宗突然如梦方醒，真是人外有人，天外有天呀，看来林灵素不过如此，根本就不是万能的神仙，只是自己被林灵素蒙蔽，以至于太过信任他了。从此时起，林灵素在徽宗心目当中的分量逐渐减轻，徽宗对他的看法也在慢慢发生变化。
不久之后，林灵素又碰到了一件让他非常难堪的事。林灵素几乎每天都骑着青牛出入于皇宫。有一天，一个道士来皇宫大院门口，说要见林灵素。林灵素让卫兵把他带到垂拱殿，很是傲慢的问道，“你是何方人士，要来见我？”
那人回到：“小道跟道长是温州同乡，小道有一小术，愿在您面前一试身手，请您看一看灵不灵。”
林灵素本就对这个人不屑一顾，听他这么一说，反而激起了他的好斗心理，再加上他自来京师受到皇上高度尊崇以后，早已迷失了自己，自认为天下没有人能跟他争雄，所以他就洋洋自得地同意了那人的要求。当时徽宗还没到，只有杨光华看着他们斗法。两人眼看着那人掏出一个小铜炉，到门外捧来一捧土，放到桌子上，又让一旁的小太监取来了一杯水，把水倒入土中，然后用铜炉又盖在喷了水的土上。
正这时，忽然听到杨戬喊道，“皇上驾到！”
林灵素和杨光华，到门口迎接皇上，可转身一看，那人竟不辞而别了。却也没看到究竟从哪里出去的。
徽宗一走进大殿，便闻到一股浓烈的香气，就问：“这是什么香味？这么好闻？”
林灵素回答说，“就是平素所焚之香啊。”
“那你再取一支来点上，这香味好闻得很。”徽宗说。
林灵素不得不到休息室拿来一支点上，却没有香味，一连换了几次，还是没有香味。
徽宗很是诧异，就再三询问，林灵素只得把刚才的事说了。徽宗于是便让人把铜炉取过来。可是任谁去拿，都拿不起来。林灵素亲自过去，双手环握往上拔，可那铜炉却更加牢固，纹丝不动。徽宗觉得好玩，就说：“我来看看。”
说着，徽宗就过去亲自取那个铜炉。本以为那么多人都拔不动，所以就两手握住，用力去拔。谁知手一搭上，就轻松的拿了起来。铜炉下面，还有一张小纸条，上写：“拈土为香事有因，如今宜假不宜真；三朝元老张天觉，四海仙人吕洞宾。”
徽宗对这首诗的其他几句并没多么在意，可是“如今宜假不宜真”这一句，引起了徽宗的高度重视，他从中悟出，林灵素做的那些事儿，看来都不真实。从此，便对他产生了怀疑。
因为徽宗对林灵素非常宠幸，不但林灵素可在皇宫各处随时出入，而且徽宗也经常到林灵素住处去。一天，徽宗又来到林灵素的住处，突然看见，三清阁牌子上方有两行金属的小字，闪闪发光，但因三清阁太高，并且在飞檐之外，隐隐约约的看不清楚。徽宗觉得，这么高，一般人是不可能放上去的。于是便对杨戬说：“想办法，上去看看，那上面是什么东西？”
杨戬让卫兵找来梯子，上去一看，原来是插在瓦缝里的一块铜牌。杨戬将铜牌拔出拿下来给徽宗看，只见上面写着“郑子清居此两月，不得见上而去。”
徽宗就想，这郑子清是什么人呢？他有什么事要见我？为什么又住在这上面，并且还住了两个月呢？他就去问林灵素。
林灵素很不以为然地回道，“一个道士写的，其他情况，臣一概不知。”
徽宗一听，心想，你骗朕啊！就让杨戬把牌子带着，也没进林灵素住所的门就回宫了。
从此，徽宗对林灵素的信任度也明显降低。尤其后来发生的两件事，使得徽宗对林灵素的态度发生了根本性逆转。
林灵素竟然在朝廷拉帮结派，并且为此与梁师成为首的宦官集团争高低。这无异于老虎嘴上拔毛。再就是林灵素还跟上朝的太子争道，不但对太子没有任何恭敬之意，反而怒目而视并且抢先过去，差点把太子撞倒。太子为此向徽宗告状。这两件事，彻底激怒了徽宗。徽宗便在神霄殿痛批林灵素，当即下诏，将其逐出京城，赶回老家。
林灵素万没想到会有这样的结果，从天上掉到了地下。正应了那句：天狂必有雨，人狂必有祸的老话，他的心情可想而知。因受不了这种打击，在被押送回故乡的途中，一命呜呼了……