同年十月，玄宗在东都洛阳，原来规定明年二月初二回西京长安，听说宫中有“妖怪”出现，就想早日还都。中书侍郎、同平章事张九龄上言：“如今农民还没有收割，如果行幸，人多马众，势必踏坏庄稼，请至迟等到冬天还都。”玄宗不好说出闹鬼的事，当朝没有表态。张九龄刚一退朝，早已得到闹鬼内情的李林甫说：“长安、洛阳是陛下的东西两宫，陛下可自由往来，用得上选择时间吗？假如妨碍农民收割，可以免除他们那里的租税，臣请立即宣旨有关部门，马上西行！”玄宗一听，正中下怀，就按李林甫的意见下了诏。
李林甫为培植自己的势力，在玄宗面前吹嘘牛仙客。玄宗便在百官面前说：“朕想提升朔方（今陕西北部）节度使牛仙客为尚书。”
张九龄大声说：“不可！尚书，自古就是纳言。我大唐创业以来，只有当宰相的人和名声播扬中外、德高望重的人才能担任。仙客只不过出身使典，文墨不通，如今突然位居要职，恐怕有辱朝廷！”
玄宗极为不悦：“不行的话，给他加实封朕以为可行。”
“也不行，封爵的目的在于勉励有功之人。边疆的将领充实仓库、修好器械，这是职责，不能说有功。陛下奖赏他勤劳，赐给金帛就行了，裂土分封，恐怕不当！”张九龄正色答道。
李林甫最痛恨像张九龄这样的正直朝臣，看到玄宗无言以对，他连忙说：“臣以为仙客有宰相才，担任尚书都屈了他，九龄不知这个理。”玄宗一时没有表态。
但到第二天，玄宗重提昨事，提出至少要实封牛仙客，张九龄据理力争，玄宗气得脸色发青，大怒道：“什么事都由卿一人决定吗？”
张九龄跪拜谢罪后说：“陛下不知道臣愚钝吗？既使臣位为宰相，处理事情臣不同意，臣不敢不说。”
“卿嫌牛仙客出身低贱，卿又有多高的资格位居宰相？”玄宗讥刺道。
“臣是韶州（今广东韶关市）临海的孤儿贱人，出身低微。”张九龄面无愧色，“但仙客是边疆小吏，不识文字，如果给予要职，恐怕有失人望。”
玄宗一时不好决断，只得宣布退朝。李林甫私下再进谗言：“仙客有才有识，有什么必要懂得文字？天子想用他，还顾忌九龄的诋毁吗？”
不久，玄宗赐牛仙客为陕西县公，食实封三百户。
李林甫是靠武惠妃爬上高位的。这武惠妃很受玄宗宠幸，生寿王李瑁。李林甫知道惠妃想让李瑁当太子，就向惠妃作了担保。一天，惠妃借现太子有一点议论家事的小过错，又与李林甫密谋了一番。
然后，惠妃哭哭啼啼来到玄宗面前，玄宗认为国顺家也顺，见到惠妃这模样，不由大吃一惊，忙问这是为何，惠妃说：“太子勾结同党，想谋害我和寿王，还指责陛下这也不是，那也不对！”
玄宗龙颜大怒，便要废除太子和另外两个儿子。
张九龄知悉后，恳切陈辞：“陛下在位三十年了，太子和各王都不敢离开深宫，而且乐意接受陛下训诫；天下之人都庆贺陛下享国长久，子孙繁昌。现在三子都已成人，没有听说有大的过错，陛下在喜怒无常之际，怎能绝情废除？况且太子是天下根本，不可轻易动摇！陛下一定要这样，臣不敢答应！”
玄宗又是不高兴地退朝。李林甫在背后旁敲侧击：“这是皇上家事，何必去问外人呢？”惠妃紧锣密鼓，叫官奴婢传话张九龄：“有废必有兴，张公如果劝说皇上废除太子李瑛，可以稳居相位。”九龄一番痛斥后将原话奏告玄宗，玄宗顿时气得脸都变了形。
皇太子一时保住了性命，但九龄却因李林甫的中伤受到玄宗的疏远。以后降九龄为右丞相，以李林甫兼中书令，牛仙客为工部尚书、同中书门下三品，其他敢谏之士也受到贬官和流放的处罚。
九龄受到处分，朝廷舆论哗然。李林甫就对谏官们说：“现在明主在上，群臣顺从就行了，你们要以九龄为戒，用不着多嘴多舌。”官员们都明哲保身，但求无过，不再直谏了。
唐玄宗晚年以为“天下太平”，无可担忧，乃深居简出，骄奢淫逸，以靡靡之音和娇娇女色为人生最大乐趣。把国家大事委托给“口有蜜，腹有剑”的李林甫。李林甫媚上压下，杜绝言路，妒贤忌能，排斥异己，几次无端兴起大狱，冤杀无辜，不说皇太子怕为他所害，就连安禄山都知道他阴险毒辣。
李林甫当了十九年宰相后，于天宝十一年（752年）才一命呜呼。杨贵妃的堂兄杨国忠代为右相，而这是唐明皇早已安排好了的。
这杨国忠上台后，刚愎自用，颐指气使。他继承李林甫的衣钵，不同意见，全部斥逐，即使对死去的李林甫也没有慈悲之心。