后来，当杨家传到杨业之孙杨文广这一代的时候，还发生了一个小插曲。杨文广曾追随北宋名将狄青，在广西地区平定叛乱。平乱期间，杨文广率军路过播州地区，发现当地还有杨家的一个分支。这个杨氏分支，在当地混得还不错，成了当地的土司。巧合的是，当时这个杨氏分支，自从来到当地之后，已经传到了第六代。而传到第六代之后，作为土司家主的杨昭，偏偏又没有儿子。
所以最后，杨文广干脆就直接把自己的儿子杨贵迁，过继给杨昭做养子。所以，从这一代开始，播州杨氏内部，便一部分是杨家将的血脉后人。再后来，随着北宋灭亡，杨家将主脉的那一支，开始彻底衰落了下去，史书上也就再没了记载。不过，播州杨氏这一支，却完好地保留了下来。到了南宋的宋宁宗在位期间，韩侂胄军北伐的时候，麾下便有一个叫杨祭的将军，作战非常勇敢。
这个杨祭，便是杨贵迁的六世孙。而杨祭之后，他的儿子杨价，也曾在蒙古大军南下攻宋的时候，率领宋军坚决抵抗。这个杨价，便是最后一个进入宋史记载的人了。至于再之后，杨家又经历了哪些事情，正史上就没有记载了。不过，虽然正史上没有记载，但播州杨氏的族谱上，却有着很完整的记载。从宋朝一直到明朝中后期，播州杨氏的族谱，一直都比较完整。
然而对于播州杨氏的族谱，后世史学界却存在一些争议。因为这本族谱，是在明朝初期的时候，由明初大儒宋濂，帮忙撰写的。很多史学家认为，或许，播州杨氏并没有杨家的血脉。所谓的杨文广过继儿子这件事，也只是当时的明朝政府，为了安抚播州杨氏，硬给套上去的，历史上并不存在。但这个说法，目前也只是猜测。如果仅从播州杨氏的族谱来看，这一脉确实有很多人，是杨家将的后代无疑。
历史上忻州人杰地灵体现在哪里？
山西省忻州市放在全国而言，并不是一个曝光度很高的城市，但作为佛教圣地五台山、有“天下九塞，雁门为首”美誉的雁门关，以及“国家历史文化名城”代县的所在地，忻州拥有着浓厚的历史底蕴。那么，我国历史上，忻州籍的名人都有哪些呢？出生于忻州的历史名人中，所处时代最早的或许便是刘渊、刘聪父子了。在西晋末年，八王之乱引起了社会的动荡，而五大少数民族匈奴、鲜卑、羯、氐、羌则趁机入主中原，先后建立了许许多多的政权，史称“五胡乱华”，而他们建立的国家，则被统称为“五胡十六国”。
十六国中，汉赵政权的建立者刘渊出生于新兴郡，也就是今天的忻州北部，据《晋书》记载，刘渊是汉高祖时期匈奴冒顿单于的后代，因为冒顿单于和刘邦结为兄弟，所以他的后代就取汉姓为“刘”。东汉时期，匈奴分化为南北两部，其中，北匈奴最终西迁，而南匈奴则逐渐南下和汉朝融合，刘渊的祖父就是南匈奴的单于于夫罗。于夫罗去世后，其子刘豹被封为左贤王，后又被曹操任命为匈奴的左部帅。
后来，刘豹与妻子呼延氏生下刘渊，传说，刘渊出生时“左手文有其名”，于是刘豹便根据刘渊手上的“渊”字纹路给他取名。据史书记载，刘渊从小聪慧过人，七岁时母亲去世后，他悲痛欲绝，同族人都认为他十分孝顺。刘渊热爱学习，从小就喜读书，能够大体诵读《左传》、《孙子兵法》，也涉猎了《史记》、《汉书》等著作，学识非常广博。
后来，他又开始习武，“妙绝于众，猿臂善射，膂力过人”，还曾经被懂看相的人夸赞道：“此人形貌非常，吾所未见也。”长大后，文武双全、气宇不凡的刘渊得到晋武帝司马炎的特别召见，但朝臣因为害怕他怀有异心而劝阻了武帝想要委他以重任的想法。咸宁五年（279），刘豹去世，刘渊接手了父亲的军队，并在晋惠帝时被封为建威将军、五部大都督，元康年间被改封为宁朔将军、监五部军事。
八王之乱爆发后，刘渊和其它匈奴部族在并州割据，永嘉二年（308），刘渊正式称帝，建立汉赵。刘渊在位的六年间，大体上还算勤于朝政。刘渊的接班人刘聪也是忻州人士，他和父亲十分相似，不但“幼而聪悟好学”，还“十五习击刺，猿臂善射，弯弓三百斤，膂力骁捷，冠绝一时”，在刘渊建国的过程中，刘聪也立下了汗马功劳。河瑞二年（310），刘渊病逝，太子刘和继位。
刘和很快在大臣挑拨下对弟弟刘聪刀剑相向，但刘聪击败刘和并将其诛杀，不久自己继位。刘聪率军攻破长安、洛阳，将西晋灭亡，一度称霸北方。但他执政后期沉迷享乐，荒废国事，最终导致了汉赵的衰微。除了刘渊、刘聪父子，金朝著名文学家、史学家元好问、元朝诗人、书画家萨都剌、明清之交时的思想家、书法家和医学家傅山以及有着“东方伽利略”之称的清末名臣、地理学家，和林则徐一起被誉为开眼看世界先驱的徐继畲也是忻州人士。
