德宗已經下定了決心，對楊炎說：“這件事你就不要管了！”楊炎一再表示反對，這使對他早就不滿的皇帝更加生氣。

不巧趕上天下大雨，李希烈一直沒有出兵，盧杞看到這是扳倒楊炎的好時機，便對德宗皇帝說：“李希烈之所以拖延不肯出兵，正是因為聽說楊炎反對他的緣故，陛下何必為了保全楊炎的面子而影響平定叛軍的大事呢？不如暫時免去楊炎宰相的職位，讓李希烈放心，等到叛軍平定以后，再重新起用，也沒有什么大關系！”

這番話看上去完全是為朝廷考慮，也沒有一句傷害楊炎的話，盧杞排擠人的手段就是這么高明。德宗皇帝果然信以為真，于是免去了楊炎宰相的職務。

從此盧杞獨掌大權，楊炎就在他的掌握之中了，他自然不會讓楊炎東山再起，便找碴兒整治楊炎。楊炎在長安曲江池邊為祖先建了座祠廟，盧杞便誣奏說：“那塊地方有帝王之氣，早在玄宗時代，宰相蕭嵩在那里建立過家廟，玄宗皇帝不同意，令他遷走；現在楊炎又在那里建家廟，必定是懷有篡奪的野心！”

早就想除掉楊炎的德宗皇帝便以盧杞這番話為借口，將楊炎貶至崖州，隨即將他殺死。

楊炎身中小人之暗算，最終命喪黃泉，著實讓人嘆息。他倒在了盧杞為他挖好的陷阱里面，沒能逃出小人伸出的魔爪。

.b