辽军集中优势兵力发动进攻，曹彬一路宋军在岐沟关（今河北省涿州市西南）被杀得大败。曹彬一路是此次北伐的主力部队，现在主力受到重创，其余两路宋军不得不撤退。潘美一路在撤退时，受命掩护云、应、寰、朔四州百姓迁徙。宋将杨业受命迎敌，退至陈家谷口（今山西省朔州市西南）时，发现负责接应的潘美已经指挥军队提前撤退。
杨业率领残部奋勇杀敌，结果寡不敌众，被俘三日后绝食而死，上演了这次北伐最悲壮的一幕。战后，曹彬因指挥失误而受到处罚。影视剧中的杨业。来源/电视剧《忠烈杨家将》截图纵观曹彬一生，他没有中国古代名将所具备的卓越的军事才能，除了消灭南唐，他真正立下的战功似乎并不是很多，岐沟关之败与他指挥不当有直接关系。从各方面看，曹彬都不属于一流的军事家，应该说，他只能算是一个中规中矩的将领。
令人惊奇的是，在北宋文人心目中，曹彬简直成了他们理想中完美武将的化身。我们仔细分析当时的记载，就会发现皇帝和士大夫真正看重的，是曹彬军事才能之外的东西。曹彬为人行事低调，谨慎小心。后周太祖郭威的张贵妃是曹彬的从母，因而他是皇亲国戚，但却从来不以皇亲自居。在后周时，赵匡胤掌管着禁军。作为同僚，曹彬对赵匡胤表现得不冷不热，除了公事，从不到赵匡胤家里去。
平时同僚一起聚会，本来是拉关系的好机会，曹彬也极少参加。周世宗时，曹彬掌管禁中茶酒，赵匡胤为了和曹彬交往，就故意向他讨要御酒。曹彬既不想做违法的事情，又不愿得罪赵匡胤。他一面以御酒是官酒，不敢随便给人为由，拒绝了赵匡胤的请求，一面自己出钱买酒给赵匡胤喝。这种谨慎和明哲保身的行为引起了赵匡胤的注意。赵匡胤称帝后，曾经问曹彬：“我当年常有心亲近你，你却为什么故意疏远我？”曹彬回答说：“我是后周皇室的近亲，又担任着重要职务，小心谨慎做官，尚有受到朝廷责罚的忧虑，又怎敢有超乎寻常关系的交往？”显而易见，曹彬的特殊身份使他变得非常世故，更何况当时局势尚不明朗，赵匡胤能否夺得大位亦是未知数，圆滑的曹彬对他自然是敬而远之。
赵匡胤听了曹彬的一番肺腑之言，觉得他很忠厚，就提升他为客省使，专门负责接待皇帝要见的客人。五代由于战乱频仍，朝廷不断变换，当时人的忠节观念都比较淡漠，往往谁有实力，就会成为众人效忠的对象。作为武将，曹彬能够洁身自好，不结党营私，显得尤为可贵。影视剧中的赵匡胤（陈建斌饰）。来源/电视剧《大宋传奇之赵匡胤》截图入宋以后，曹彬失去了后周皇室的庇护，因而其行事低调的性格表现得更为突出。
在北宋统一战争中，南唐是当时实力比较强大的政权。赵匡胤特意派遣曹彬担任主帅，负责攻取南唐。曹彬在消灭南唐回朝复命时，没有大肆张扬，只是轻描淡写地称，奉皇帝圣旨，从江南办事回来了，丝毫不提自己的功劳。曹彬的这一做法被宋代士大夫津津乐道，都称赞他不居功自傲。除了谨慎，曹彬身上还流露出当时武将少有的一些品质。
他不贪财，不嗜杀。太祖乾德二年（964），北宋发动了消灭后蜀的战争，曹彬以都监的身份参与了这场战斗。占领蜀地后，许多宋朝将领，包括王全斌、崔彦进等人都趁机大肆掠夺金银财物，而曹彬除了图书和几件衣服皆不取。回朝后，掠夺财物的将领都受到了太祖赵匡胤的处罚，就连宋军统帅王仁瞻等也承认，这次出征只有曹彬没有掳掠财物。
赵匡胤对曹彬的清廉颇为满意，授予他宣徽南院使、义成军节度使。影视剧中的王彦升（莫美林饰）。来源/电视剧《问君能有几多愁》截图这一时期，很多武将凶残暴戾，嗜杀成性。北宋勇将王彦升，对待俘虏十分残暴，他将俘虏的耳朵撕扯下来佐酒，竟然面不改色，俘虏往往鲜血淋漓地跪在地上，吓得不敢叫一声。曹彬在这一点上与众不同，每逢作战，他都竭力不滥杀百姓，史书上没有他虐待战俘的记录。
