芜湖，殷仲堪接到诏书，惊怒交加，若不是宣诏之人是叔父，殷仲堪真想命人将使者赶了出去。
当着殷茂的面，殷仲堪勃然怒道：「王恭虽败，但愚麾下尚有数万雄兵，朝庭安敢如此辱我。传令，命桓玄、杨佺期火速进军，夺取石头城。」
石头城外，桓玄和杨佺期先行接到了朝庭的诏书，杨佺期见朝庭封他为雍州刺史，督梁、雍、秦三州军事大为满意，而桓玄能任江州刺史，加上桓家在荆州的势力，也算是将长江中上游控制在手中，两人都想顺从朝庭。
殷仲堪的命令传来，桓玄和杨佺期犹豫不决，两人商议是不是前往芜湖，与殷仲堪当面分说。
殷仲堪之弟殷遹为杨佺期属下司马，见大军毫无进攻命令，杨佺期与桓玄在帐中密议，暗道不好，看来两人想接受朝庭的任命。
连夜驾舟前往芜湖，殷遹把杨佺期和桓玄有意接受朝庭任命之事告诉殷仲堪。殷仲堪大惊失色，连忙命令所部两万兵马回返荆州江陵。
临行之前，殷仲堪派出使者警告桓玄和杨佺期以及他们所部的将士，「如果谁敢不听命回返荆州，愚回到江陵之后，杀尔等全家。」
杨佺期所部刘系本是殷仲堪部将，接到命令后立即率所部二千人马撤走。随后，长江之上遍布大舟小船，皆是回返荆州的船。
军心已乱，杨佺期和桓玄深为恐惧，若是新亭的刘牢之率军出击如何抵挡。面对殷仲堪施出的釜里抽薪之计，杨、桓两人都深感无奈，只得下令折返荆州。
紧赶慢赶，终于在浔阳追上了殷仲堪，三人都觉得应该坐下来谈一谈，消除彼此间的猜疑。
嫌隙已生，但若在此刻各奔东西，朝庭大军随后追击，谁都逃不脱灭亡的命运。酒席宴上，谈笑风生，却是各怀心思，各打主意。
荆州兵马撤走，司马道子松了口气，没有继续分化殷、桓、杨三人，也没有趁胜追击。
三人见朝庭兵马并未追击，决定先在浔阳驻扎，等商议后再定行止。三人之中，殷仲堪实力最强，荆州兵马大都听从他的号令，但此刻名义上他已失去荆州刺史的官职，需要桓家和杨佺期的扶持。
殷仲堪是个文士，不通军事，要带兵打仗，不能指望桓玄，唯有依靠杨安玄。只有牢牢拉住桓玄和杨佺期，稳定荆州不动荡，殷仲堪才有资本与朝庭讨价还价。
桓玄因为父兄家族之故，在荆州颇受拥戴，不过朝庭对他诸多限制，桓家兄弟多对朝庭忠心，并未依附于他，让恒玄常觉空怀壮志却无实力。
朝庭许诺江州刺史的位置，桓玄颇为中意，江州乃富庶之地，位于荆州和京城之间，只需数年时间便能募集万余兵马，届时有江州、荆州之势，大有可为。
此次出兵要说获利最大是杨佺期，雍州刺史，督梁、雍、秦三州军事，从五品一下子迈入四品，跨了一大步，正是杨佺期梦寐以求的机遇，三人之中属他最想接受朝庭旨意。
可是，三家以杨家实力最小，族军不满千，大哥杨广的南蛮校尉府中的兵马也是荆州兵马，真要遇事并不听指挥。
杨佺期是南郡相、州司马，大面上要听殷仲堪的调遣，何况他他重新起得是殷仲堪所荐，有这知遇之恩明面上不能做得太过。
相比桓玄，殷仲堪更为信任杨佺期，杨家虽有名声，但在朝中没有助力，所以先找到杨佺期，与他分析朝庭分化之策的恶毒之处，阐明唯有抱团才能共渡难关。
最后重提儿女亲事，此次殷仲堪为庶子殷本之求亲，迎娶杨佺期庶女杨漓，并答应成亲后，让殷本之随在杨佺期身边为官。
殷仲堪都做到这个地步，杨佺期还能说什么，慨然应诺听从殷仲堪的安排。
杨
安深是荆州法曹参军，殷仲堪觉得虽然把庶子送到杨佺期手中，但有杨安深作为人质，两家又结成亲家，应该无忧矣。
接下来商议桓玄之事，对于是否拉桓玄入伙两人有了分歧。杨佺期自许弘家杨氏之后，身份高贵，而桓玄却认为杨家是兵家子，寒门出身，数次当面折辱杨佺期。并以其父杨亮曾是桓温麾下部将为由，视杨家为其部曲。
杨佺期目露凶光，道：「愚数次劝过殷兄，寻机诛杀桓玄，殷兄生恐荆州生乱而作罢。此次却是个好机会，杀了桓玄，向朝庭上表，推说此次起军皆为桓玄之意，愚相信朝庭必然乐见。」
殷仲堪连连摇头，道：「不妥，桓氏坐镇荆州四十余年，桓玄倚仗父兄之名，声望远在你我之上，他若被诛，荆州立乱，不说荆州百姓会如何，便是这数万大军恐怕立时也要分崩离析，眼下用人之际，绝不能诛杀桓玄。」
除了诛桓玄可能引发动荡外，殷仲堪还存了用桓玄牵制杨佺期的用心，若当真杀了桓玄，说不定杨佺期又变成另一个桓玄，唯有相互牵制才能让他坐得安稳。
兵马掌握在殷仲堪手中，既然他不同意，杨佺期只能作罢。