时渭水(亦称渭河)曲折淤浅，不便漕运，他主持征调民工，在咸阳(今陕西省咸阳市)壅渭为堰以绝灞浐二水，向东作一条与渭水平行的渠道，在华阴县永丰仓附近复与渭水汇合，又在禁苑之东筑望春楼，下凿广运潭以通漕运，使每年至江淮载货之船舶在潭中集中，借以取得皇帝之欢心。后升兼江淮南租庸、转运、处置等使，韦坚升任刑部尚书后，李林甫感到已威胁到自己的相位，欲除之。
李林甫奏道：“陛下，太子虚位已久，寿王李瑁忠厚仁孝，又有才干，可担此大任。”
玄宗的话却让李林甫大吃一惊。
玄宗说：“忠王李亨是诸王子之长，朕已决定立忠王为太子。
群臣窃喜：好你个李林甫，也有失算的时候。选错了主子，看你以后怎么办。
李林甫想：陛下明明一向喜欢寿王，怎么突然改变主意？这可大事不妙，自己一直支持寿王，李亨当了太子，一旦掌权，必然记恨，自己的处境就危险了。当然高力士不会告诉他：玄宗拟册封杨玉环为贵妃，如果立寿王为太子，将来他登了基，想到自己的女人被抢，必然报复。
李林甫随即又想：就算你李亨当了太子，我先设法减掉你的羽翼，拔了牙的老虎伤不了人。当然，最好是废掉。
一次，一地方官员来见李林甫，说发现了金矿。
李林甫眼珠稍微一转，说：“你可以告诉左相李适之大人，让他奏明陛下，为你请功。”
李适之奏道：“陛下，华山发现金矿，这是样品，请陛下过目。”
玄宗把矿石拿在手上把玩，果然是好东西，玄宗很高兴。
李适之说：“陛下，请下旨开采，必能增加国库深入。”
玄宗笑着说：“对对对，林甫，你怎么不知道这件事？”
李林甫严肃的说：“臣知道这件事很久了，但是考虑到华山是陛下的本命、王气所在，如果破坏了，纵然是金山，也弥补不了过失，所以臣不敢禀告。”
原来玄宗生于乙酉年，属鸡。地支酉位居西方，五行属金。华山为西岳，又富金矿，故唐玄宗以华山为自己的本命和王气的宅舍。
玄宗变了脸色说：“李适之，以后你有什么事先和李丞相商量一下才奏。”
李林甫冷笑，李适之暗暗叫苦：上了李林甫的当，陛下必定疏远自己。不久，李适之被罢相，有诗云：避嫌除罢相，乐圣且衔杯。为问门前客，今朝几个来？