唐玄宗觉得刚刚处死了两名朝廷的重臣，接着又要处理穿紫袍的大员，有些侧隐之心，不愿做得太急。对李林甫说道：“宰相和尚书、京兆尹来往，也属正常。工作上有联系嘛，不要做得太绝。”
李林甫立即跪下：“启奏皇上，臣有确凿的证据，证明他们不是正式的朝官交往，而是图谋不轨啊。”李林甫一再坚持，唐玄宗说道：“让御史台调查，让慎矜和你一起来汇报吧，他做事很慎密。”他这是给李林甫一个信号，不要总是以为你了不起，有人接替你。
李林甫那有听不出弦外之音的，但在唐玄宗面前装出不在意的样子，伏地说道：“谢皇上恩典。”爬起来装做十分恭顺的样子，内心之中，已经将杨慎矜恨上了，思虑着用什么办法来整他了。
王鉷到了李林甫的房间，李林甫说道：“皇上要慎矜来调查李适之与皇甫惟明、韦坚以及韩朝忠、裴宽等人暗中交往的事。但他事情太多，忙不过来。你来调查吧。”
王鉷说道：“相爷对李适之不放心，是怕有朝一日皇上的心血来潮，让他卷土重来。是不是想搬掉他，永除后患。”
李林甫说道：“一次不要太绝，将他赶出京城就行了。他还没有叛国造反的罪证，怎样下结论？你把握分寸就行了。”
王鉷按照李林甫的意思，将李适之韦坚皇甫惟明一案联在一起，同时将其与韩朝忠、裴宽暗中联络的材料做到位。对杨慎矜说道：“李相爷叫办的案子，要你和他一起向皇上汇报。我已经整理好了，你熟悉一下好汇报。”
杨慎矜说道：“你整理的案子，你汇报好了，何必多此一举呢？”“不行啊，相爷非要你去不可，你是御史台的负责人，我不够格。”王鉷将奏折和材料都递给杨慎矜。
杨慎矜接过材料，看后说道：“这叫什么案子啊？只有人证，没有物证，而且也没有重大的罪过，这结论也有些牵强，怎么向皇上汇报啊？”“这是相爷看过的，他认为这样可以，你有不同意见，和相爷交换吧。”王鉷说道。
杨慎矜来到相府，李林甫满脸笑容，很客气的说道：“来了，我们现在就进宫。”杨慎林说道：“这案子有几处我搞不懂，想请教丞相。”
李林甫说道：“这是你们御史台查出来的，你不懂那是你的责任不到位，那几条罪是有些牵强。这样吧，裴宽和韩朝忠两人的政绩不行，不适宜再担任户部尚书和京兆尹的职务，而李适之与他们来往密切，不宜在京城呆着，让他到宜春郡任太守。你还有什么想法？”
杨慎矜不愿得罪李林甫，也不愿找理由来反对。而这三人的来往的确很密切，说他们有党朋之嫌并不过分。当即说道：“丞相这样说，我就明白多了。”
李林甫很高兴，拍了一下杨慎矜的肩膀说道：“好好干，我这个位置早晚都是你的。”杨慎矜立即说道：“慎矜不敢，慎矜只想在丞相手下当好差。”李林甫微笑不语。他的内心很复杂，杨慎矜是他提拔走来的，对他也很恭敬。但唐玄宗要用他来取代自己，这是万万不行的。只要威胁到他的相位，他就会毫不犹豫的除掉他。内心想陷害对方，脸上却挂着微笑。
李林甫和杨慎矜一起向唐玄宗上奏，将李适之贬到宜春郡任太守。唐玄宗问杨慎矜：“让适之去宜春郡有何必然？”
杨慎矜说道：“启奏皇上，适之眼下是一闲官，担任宜春郡太守，掌管一郡的政事，是为朝廷出力。名是贬官，实则是重用。”唐玄宗对他点点头说道：“准奏，让翰林院拟旨。”李林甫看在眼里，心中的那个恨啊，难以用言语表达。
李适之到了宜春郡，他知道是李林甫做的手脚。将他贬到宜春来做太守，心情十分不好，因此到任后以酒消愁，经常喝得不省人事，难免荒废了政务。
咸宁郡3太守赵奉章向唐玄宗状告林甫大罪二十馀条，奏折落到了李林甫的手上，他胆战心惊。严密封锁消息，派他的心腹，侍御史罗希到咸宁郡查访。罗希到咸宁郡审查赵奉章，判他结私钻营，妖言惑众。在堂前重杖六十军棍，当即打死。
回到京城罗希向李林甫交差，李林甫十分满意，又命令他去江南西道巡查。罗希按李林甫的授意，以不称职和渎职的罪名，沿途处死了几个不巴结李林甫的官员。按行程马上就要到宜春郡了，李适之知道罗希是李林甫的打手之一，这次到江南西道巡查就是针对他来的，他就是不荒废政务，也难逃一死。
罗希已经到了城门，李适之十分坦然，他已经万念俱灰，想他的爷爷是唐太宗的长子，在太子的位置上坐了多年，因不善于权谋被废。现在他在宰相的位置上干了五年，也因不善于权谋而被贬。按家族算，他和唐玄宗是没有出五户的兄弟。想不到，现在已经被逼到走投无路的境地了。
此时，他已经没有了害怕，穿好官服，端端正正的坐在太守的衙门里。长史段秀实说道：“钦差大臣马上就到，太守大人快去迎接吧。”李适之说道：“你代我迎接。”段秀实出了府衙，李适之深深的叹息一声，拿出了早已准备好的毒酒，一口喝下。端坐在太守的位置上，等待钦差大臣。罗希进入衙门