大历六年（771年）四月，成都司录李少良借入朝奏事之机，当面向代宗揭发元载暗中贪赃枉法的一些隐秘罪行。代宗正苦于寻不到元载把柄，听了李少良的话很高兴，将他留居长安客省待命，以备下步调查核实。
谁知李少良在与朋友韦颂的宴饮中多喝了几杯酒，把代宗对他讲的一些不宜公开的话透露了出去，韦颂又八卦给了殿中侍御史陆珽。陆珽是元载的人，结果可想而知。
元载立刻奏报代宗，称李少良恶意诽谤，妄议朝政。代宗大怒，下令将李少良、韦颂、陆珽关进御史台狱中审讯。经御史提议，以阴险狡诈、离间君臣的罪名，把三人交付京兆府用刑杖打死。
代宗吃了一次瘪，有气发不出，对元载更为厌恶。开始暗中在朝臣里挑选不肯依附元载的大臣做为心腹，以便削弱元载手中权力。
挑来挑去代宗看中了浙西观察使李栖筠，此人经历颇为复杂，出自名门望族赵州李氏，于天宝七载（748年）高中进士，曾远赴西域担任安西节度使封常清幕府判官。肃宗在灵武登基称帝，下诏征调安西军入援平叛，他亲率七千精兵统军回朝，升任殿中侍御史。后又跟随天下兵马副元帅李光弼保卫河阳，累功官至工部侍郎。是一个政治可靠，出身干净，德才兼优的可用之才！
由于他政声显着，且从不依附权贵，遭到元载忌恨，被外调出朝，历任常州刺史、浙西观察使等职，早对元载专权妄为的做法深为不满。
八月二十三日，代宗没有通过宰相控制的中书、门下二省，直接从宫中颁诏，将李栖筠调入朝中出任御史大夫。这种情况在元载做宰相后还是第一次，代宗在用这种方式告诫元载及其朋党，你们的权力都是我赋予的，如果不老实、不听话我随时都可收回！
李栖筠由此成为代宗手中一柄利刃，在与元载集团斗争中发挥了重要作用。
吏部侍郎徐浩、薛邕，与元载、王缙同属一党。徐浩小老婆的弟弟侯莫陈怤是美原（今陕西延安富平境）县尉，因嫌地方有些偏，便托徐浩找个离京城距离近些的好地方任职。
徐浩找到侯莫陈怤的直接领导京兆尹杜济，请他给朝廷上了个折子，谎称侯莫陈怤能力卓越，是百姓认可的好官，应予提拔使用。接着又托分管官员任命的薛邕，给侯莫陈怤弄了个拟任长安尉的告身。
一系列程序走完，只差御史台复核这一步了。李栖筠得知了上述情况，向代宗弹劾徐浩、薛邕等人违制，代宗安排礼部侍郎于邵去查。谁知于邵也与元载一党，上疏替他们辩解开脱。
代宗没想到为了一个七品以下官员，这些人竟如此结党营私、互相包庇，一气之下将徐浩贬为明州别驾，薛邕贬为歙州刺史，杜济贬为杭州刺史，于邵贬为桂州长史。
这是素有好脾气之称的代宗，在登基以来第一次以打压不正之风为目的，如此严肃的处理高级官员，让混乱的朝政有所好转。
转眼到了大历十二年（777年），代宗即位的第十五个年头，同时也是元载担任宰相的第十五个年头！
元载表现的愈发专横强势，而另一位宰相王缙也依附于他，两人臭味相投，都很贪婪。他们不仅自己贪，连家人也跟着一起贪。
元载的妻子王韫秀，儿子元伯和、元仲武，王缙的弟弟、妹妹争着接受请托，收受贿赂。