提起杨慎矜的家世，绝对称的上显赫，他曾祖就是历史上大名鼎鼎的昏君隋炀帝杨广，他祖父杨政道当年与萧皇后在隋亡之后辗转落入东突厥之手，李靖灭掉东突厥，杨政道与萧后被李世民收留，安居于长安。
李唐对这一前朝遗脉相当不错，杨政道之子杨崇礼在武周时期担任过吏部郎中，玄宗继位又改任太府少卿，替玄宗掌管国家财库，为官清廉勤俭，赢得了相当不错的政声与口碑。三个儿子杨慎矜、杨慎名、杨慎馀也相继得得重用。
杨慎矜依附李林甫，协助他扳倒了政敌皇甫惟明、韦坚，经其推荐获任户部侍郎兼御史中丞。
杨慎矜为人精明，极擅理财，而这恰恰是玄宗执政后期最为看重的才能。随着职务的提升，他与玄宗关系愈发亲近，渐有压过李林甫的势头，由此引来李林甫忌恨。
杨慎矜与户部郎中王鉷的父亲王晋是表兄弟，小时候经常与王鉷在一起玩耍，王鉷到御史台任侍御史，杨慎矜当时是御史台主事，替他出过不少力。
待王鉷升任御史中丞，成了朝廷三品大员，杨慎矜仗着有恩于他，仍然像称呼晚辈那样当众直呼他的姓名。而王鉷自认为攀上了李林甫这棵大树，对杨慎矜的倚老卖老颇有怨言。
后来杨慎矜夺占了王鉷的职田，又逢人就讲王鉷母亲地位低贱，惹恼了王鉷。杨慎矜却压根没有意识到这些，仍把王鉷当成无话不讲的发小。
杨慎矜与来自汝州的术士史敬忠往来紧密，史敬忠私下告诉他天下将乱，劝他在临汝郡（今河南平顶山境）山中购买一座庄园避难。恰在此时，杨慎矜家中发生了一次解释不清的灵异事件，他父亲坟墓周边的草木上不知什么原因有血涌出。那时的人都迷信，认为这是大凶征兆，杨慎矜恐惧之下向史敬忠请教。
史敬忠认为有妖物作祟，在杨慎矜家中设坛做法，让他赤身祼体带上枷锁坐在当中。说来也怪，一场法事下来，坟墓中的鲜血不再涌出。杨慎矜觉得史敬忠真有些本事，对他更加敬重。
杨慎矜府中有个叫春草的婢女，人长的很漂亮，但因犯下过失惹怒了杨慎矜，准备将她处死。史敬忠劝他：“不要杀，把她卖掉可以换回十头牛，每年能多耕十顷田。”
杨慎矜听从了他的建议，遂由史敬忠出面，把春草卖给了杨贵妃的姐姐。杨贵妃的姐姐带着春草入宫，见到了玄宗。玄宗喜欢她的聪明伶俐，把她留到宫中侍奉左右。
玄宗问她来历，春草如实回答。玄宗听后有些奇怪：“他家缺钱吗？”
春草答：“不是钱的事，本来他要处死我，幸好有位活神仙史敬忠解救才得以免死。”
听到活神仙这个字眼，玄宗立刻警醒起来，让春草详细说明。春草便将史敬忠夜里拜访杨慎矜，坐在庭院推演星象变化，以及替杨府驱邪作法的事告诉了玄宗。
玄宗最厌恶朝中权贵与术士勾三搭四，还曾就此专门下过禁令。见杨慎矜竟敢无视朝廷禁令，私下勾结术士作法，内心无比反感，但隐忍未发。
这一切都被在宫中侍奉的杨国忠所闻，遂将此事转告了与他关系不错的王鉷。王鉷内心暗喜，拿这事取笑杨慎矜，杨慎矜不堪受辱，与他互相谩骂。
李林甫得知王鉷与杨慎矜有矛盾，暗中唆使王鉷告发杨慎矜。王鉷随即派人散布谣言，诬称杨慎矜与凶人往来，家中存有谶书，图谋恢复前隋。
这下可捅到了马蜂窝上，玄宗怒气贯脑，收捕了杨慎矜，下令刑部、大理寺与侍御史杨国忠、殿中侍御史卢铉共同审讯。面对如此无厘头的灭族大罪，杨慎矜哪里肯认。
眼见审不出个所以然，卢铉改变突破口，把由杨慎矜推荐的太府少卿张瑄抓起来逼供。没想到张瑄是个硬骨头，各种手段用尽，张瑄就是不说。卢铉让人把张瑄的下身固定在木桩上，拉住套在他头上的枷锁猛往前拽。张瑄的上身被拉长了数寸，腰部都要拉断了，眼睛、鼻孔鲜血直流，竟仍一言不发。