随后，耶律休哥率主力发起进攻，双方在君子馆（今河北省河间市北三十里）爆发激战。

宋军总指挥是刚刚提拔上来「戴罪立功」的刘廷让，当时天寒地冻，宋军士兵冻得手指僵硬，无法使用弓弩。以步兵为主的宋军非常依赖弓弩的远程攻击，而「不能彀弓弩」对刘延让简直就是灭顶之灾。不出意外，两军刚一接战，刘延让就被辽军铁骑重重包围。

刘延让还是留了后手的，开战前，他让沧州都部署李继隆率领精锐士卒作为后军，与他所率领的前军前后呼应，互为犄角。

然而就在刘延让苦苦支撑等待支援的时候，李继隆却率部撤退到乐寿。你们顶住，我先撤。

李继隆把队友坑苦了。身陷重围的禁军将领桑赞率部力战，从早晨奋战的下午，这时候，辽国又派来了援兵，桑赞实在支撑不住，于是突围而逃。最后，刘延让全军覆没，数万宋军被歼，刘延让换马而逃，仅以身免。知雄州贺令图被俘，高阳关部署杨重进阵亡。

值得一提的是，贺令图的被俘并不悲壮，反而成了中外笑柄。

贺令图的父亲贺怀浦是太祖赵匡胤的大舅哥，「雍熙北伐」时与杨业一同为国捐躯。贺令图早年是赵光义的部下，从龙功臣，赵光义登基后先知莫州、后知雄州，「雍熙北伐」之初担任幽州行营壕寨使，攻克固安、新城、涿州。

然而贺令图「贪功生事」、「轻而无谋」，在驻守北疆的十几年中，不停地鼓动北伐，「雍熙北伐」之所以成形，就与他年初的奏报有很大关系。

战前，耶律休哥派间谍告诉贺令图，说自己在辽国犯了大罪，打算伺机叛逃大宋，