得知杨安玄率军来到坞堡，击溃江州兵马，胡彰让长子胡朝陪同杨思平等人前往坞堡与杨安玄相见。
劫后相逢，亲人难免相见泪眼，杨安玄问过之后方知除了父亲和大伯外，家人们还算安全。
第二天，杨安玄前往黑水潭拜见母亲等人，见到了袁氏和妹子，大哥杨安深和二哥杨安远都在，第一次见到了杨漓的丈夫殷本之。
江陵城破之前，大哥杨安深在妾室何氏的劝说下，带着儿子杨辉先行离开。
让杨安玄刮目相看的是，离开江陵后何氏劝杨安深暗中前往巴陵族中，说服族叔杨良、杨才带着一批族人以及财物随他一同北返。
得知杨思平等人避入盘龙山中，杨安深便带了族人辗转寻来，山中有族众二百余人。
桓玄派兵占据巴陵后，并没有为难仍留在巴陵的杨家人，还有一部分族人留在巴陵城中。
冯该将杨佺期和杨广斩首后，人头送到了京城，尸体则装入棺中停放在荆口城外，杨安远得知后带人运回盘龙山中。
一家人也算劫后重逢，在灵堂祭奠完杨广和杨佺期之后，一家人聚在一起商议接下来该怎么办。
杨安玄提议家族随他前往汝南新息城，毕竟他是汝南太守，有能力照看族人。
杨良皮笑肉不笑地道：「家不可一日无主，佺期已逝，族中要新推一个主事之人。」
杨孜敬接过话语道：「这有什么说的，当然是思平兄了。」
杨尚保摇头道：「我等年岁渐大，应该让小一辈的人当家作主了，安深是佺期嫡长子，此次保全族人足见才干，依愚之见还是让安深出来做族长吧。」
杨安深表面推辞道：「诸位长辈在，还是从长计较吧。」
杨才板着脸教训道：「家族危难之时，汝当挺身而出、勇于担责，怎可畏畏缩缩。」
杨安远坐在一旁看了一眼杨安玄，心中轻叹。他是庶子，上有兄长，下有手握雄兵的三弟，杨家族长的位置落不到他的头上，只是族人有意撇开安玄，不知安玄会如何应对。
杨安玄看着族人你一嘴我一舌地争论着，暗生感叹，有人的地方便有争端，杨家尚在危难之中，族人就开始争权夺利了，只是这些族人真的以为能够避开自己推立族长。
与桓玄一战，杨家族军伤亡殆尽，随杨安深前来盘龙山的部曲不过百人，唯有自己手握汝南郡军数千，家族不依附自己连桓玄的搜捕都躲不脱，还妄想阻止自己担任族长。
不过看得出来，多数族人对自己缺乏认可，除了私心作祟外，杨安玄反省了一下：一是自己只是第三子，虽嫡非长，而且年岁还轻；二是与族人相处的时间不多，族人对自己缺乏了解，而且自己少年时给族人的观感不佳；三是在堂邑时自己曾与族人相争，估计得罪了不少人。
见杨安玄默不作声，杨才试探地道：「安玄，你的意见呢？」
屋中顿时静了下来，杨安玄手握雄兵，掌握着家族的命运，虽然众人心照不宣地不提让杨安玄接掌杨家，但谁也不敢被忽视他的意见。
杨安玄心中念头电转，他可以强硬地表明自己想要成为族长，众人就算反对也无可奈何，不过这样一来，人心便散了，杨家很快便会分成数枝，这可不是杨安玄所愿见的。
「诸位叔、爷，兄长」，杨安玄开口道：「杨家遭受大劫，族人分散四处，眼下最要紧的是将族人聚拢一处。还有父亲和大伯身首异处，要派人前往京城迎回首级才是。」
杨安深脸一白，道：「朝庭视父亲和大伯为叛逆，悬首于朱雀门，怎么可能将父亲和大伯的首级发还。」
杨良冷声道：「安玄你甚得会稽王赏识，要回首级之事就劳你
受累了。」
对于杨良，杨安玄不假辞色，冷笑道：「九叔爷，若是愚迎回父亲和大伯的首级，你可是打算推愚任族长？」
杨良忙道：「愚可没这么说。」
杨思平缓和气氛道：「先顾眼前吧。江州的兵马败走，皇甫敷定然不会坐视，先击退皇甫敷再说其他吧。」
杨安远站起身道：「皇甫敷在襄阳有兵马数千，单靠安玄的二百轻骑显然不敌，不如趁其未来之前，咱们退往洛阳。」
杨尚保摇头道：「我等可以走，家眷怎么办？若是半路被追上，难逃性命。盘龙山山深林密，大军入山搜索困难，依仆之见不如就藏在山中躲避。」
杨思平看向杨安玄，道：「安玄，你以为如何？」
杨安玄沉思片刻道：「避无可避，唯有战上一场。」
「三弟是想借助胡家，在山中伏击？」杨安远曾在偃师城与杨安玄一起伏击过秦军，对游击战术有所了解。
杨安玄道：「见机行事，愚这次来除了二百轻骑外，还带了二百匹马驳运了二百套具装。」
杨思平精神一振，笑道：「有二百甲骑具装在，管叫皇甫敷吃不了兜着走，正好报仇血恨。」
杨安玄笑道：「皇甫敷有数千兵马，敌众我寡，不可大意。愚这就前往山寨拜会胡彰，让山寨出兵相助。」