次日一早，桓玄下令兵马开拔南下，前往江陵。
殷仲堪亲自前来相送，又说了不少场面客套话，直到看着桓玄的兵马离去，殷仲堪顾左右而笑道：“这便走了？如此简单？我还以为他会反悔呢。”
殷遹笑道：“他再不要脸，也不能赖着不走。兄长，眼下该对杨佺期动手了。我请命，率骑兵五干前往追击。”
殷仲堪点头道：“好。你且率骑兵追击，我和旷之率步兵随后便到。那杨佺期此刻急着回援，无心恋战，你可进而击之，给他些教训。”
当下荆州军点兵出城，调集船只。殷遹率五干骑兵渡沔水率先追赶，殷仲堪率三万步卒随后跟进。
两天后，殷遹率骑兵追至筑阳。斥候禀报，敌军兵马昨日抵达此处，距离已经不远。殷遹下令急追，骑兵沿着官道一路追至城西武当山下，但见山路上只散落盔甲兵器无数，殷遹闻之大笑。
“哈哈哈，杨佺期的兵马已经丢盔弃甲了。他们已经毫无斗志了。”
不久后，前方斥候传来消息。在前方山谷之中，发现敌军营地。杨佺期的兵马显然已经精疲力竭，正在十余里外的山谷歇息。
虽然日光西沉，但是殷遹还是决定发动进攻，杀对方一个措手不及。骑兵沿着山道疾驰数里，抵达山坳上方。殷遹策马立于高处眺望前方，果见夕阳之下，弯弯曲曲的山道通向前方数里外的山谷，山谷里帐篷林立，炊烟缭绕，正是杨佺期的大营。
殷遹纵声大笑，沉声下令：“所有人，准备进攻。给我踏平他们的营寨，杀他们个血流成河。”
有人提醒道：“将军还是加以小心，此去山道两侧林木茂密，若有伏兵，则后果不堪设想。还是应该先命人去两侧山林搜索一番。况且，这山道狭窄，不利于我骑兵冲锋。若是能等明日敌军出了这片山地，可驰骋进攻，畅通无碍。”
殷遹摆手道：“没见到他们已经丢盔弃甲了么？还担心什么？机不可失失不再来。正是在这山谷之中，方能让他们以为自己是安全的，也才好杀他们个措手不及。”
众将闻言，只得听命。
五干骑兵从山坳口沿着山道冲了下来，直扑对方山谷营地。居高临下的冲锋甚为迅速，山道虽然狭窄，但这是一条官道，倒也平整。两侧林木茂密，正好隐藏了踪迹。前方骑兵冲出数里之地，山谷中的敌军丝毫也没有察觉。
殷遹策马冲下山坳，加入冲锋的骑兵之中。就在他冲出数里之地的时候，猛听得前方炸了锅一般的喊叫起来，似乎出了什么事情。大量的兵马减速停滞在山道上，前进不得。
“什么事？”殷遹大声喝问。
“禀报将军，前方山道堵塞，大量树木石头封堵了道路，难以通行。恰在弯道之处，前军骑兵不慎撞击，死伤百余骑。”消息很快禀报了上来。
殷遹大惊，正欲说话，但听得左右林木之中喊杀之声震天，锣鼓震天响起。无数的敌军从山道两侧冲出，手持长枪长戟乱戳乱刺。
“不好，中了埋伏了。快撤。”殷遹大声喝道。
可是，说的容易，这种山道如何说撤就撤？官道上的骑兵拥堵，乱做一团。无法冲锋的骑兵和步兵相比，那也不过是比人高一头罢了。对方显然有备而来，全是长柄武器，对着马匹一顿招呼，战马倒毙，骑兵也无幸。
殷遹第一时间拨转马头往回跑，身边亲卫骑兵护卫他逃走。好消息是，殷遹在队伍后方，拥堵的不算严重。后队变前队之后，官道拥堵的并不严重。更幸运的是，后方道路没有被木石拦阻，畅通无阻。亲卫骑兵护卫着殷遹亡命杀出，冲上山隘之时，殷遹身边只剩下不到百人。
慌乱之际，殷遹回头看向下方山道上。那里，大量的骑兵已经阵亡，只有少量的兵马还在抵抗，但显然也是徒劳的。因为在暮色之中，周围山野全是敌军，密密麻麻不计其数。
远处山坡上，殷遹看到一杆大旗猎猎，旗下一人策马而立，目光似乎穿透了暮色，远远的看着自己。那正是杨佺期。
殷遹大败而归，逃出山地之后连夜回撤，和后方赶来的大军会合。见到殷仲堪之后，殷遹满脸沮丧的跪地请罪，痛哭流涕。
殷仲堪得知五干骑兵几乎全军覆灭的消息后，差点晕过去。
经过紧急商议之后，殷仲堪意识到不能再追击了。对方显然布下了疑兵之计，故意丢弃盔甲物资吸引骑兵追赶，沿途设伏。再往西去，山林更多，可以设伏的地方更多。一战便损失五干骑兵，有多少兵马可以损失？荆州军这数月以来已经损失够惨的了，还是老老实实的让杨佺期自己退走为好。
当下殷仲堪立刻下令撤兵回襄阳。次日一早，大军掉头撤退。午后时分，兵马急行至山都县境内时，一个如晴天霹雳一般的消息传来，令殷仲堪差点从马背上摔下来。
襄阳被攻克了！守城的长子殷简之被杀了！
这便是杨佺期的冒险之策。他不甘心如此退兵，他知道殷仲堪和桓玄各怀鬼胎，自己一旦退兵，他们之间便可能生出分歧来。所以，他一面传令巴西郡部分兵马驰援汉中，一面分兵万余回军救援汉中郡。
剩下的三万兵马，杨佺期佯装主力撤退，却令