除此之外，曹操恨朱灵，还有一个原因。
朱灵在袁绍手下时，他家乡清河的季雍以鄃地背叛了袁绍而投靠了公孙瓒，公孙瓒也派出军队协助季雍守城。袁绍命令朱灵前往攻打，但朱灵的家人都在城中，公孙瓒便将朱灵的母亲、弟弟都绑在城上，以此来诱降、要挟朱灵。朱灵望着城哭泣说：“大丈夫一出身为人效力，岂会再顾全家室呢！”于是力战攻陷鄃城，生擒季雍，然而朱灵一家都被杀害。
这件事情有可能影响了朱灵一生，不知道当初袁绍让朱灵攻打自己的家乡是什么用意，但朱灵不顾家人的安危却是一把双刃剑，一方面，他证明了自己的能力与忠贞；另一方面，他也留下了“不爱自己的亲人也就不会爱他人”的嫌疑。三国时代，毕竟不是一统天下，在孝与忠的问题上，孝的概念没有改变，而忠的指向有时候并不是那么十分的明确，这恐怕就是影响朱灵的原因，就像那个马超，他放到任何一个诸侯那里都是一个非常需要的能战大将，但张鲁不用他，刘备在得到汉中后也将他闲置，原因很明确，就是他关中叛乱时，不顾全家都在曹操手上而执意造反，结果导致全家被杀。曹操是个多疑之人，有了马超的例子，他能不对朱灵多想吗？
朱灵是在袁绍极为强盛、曹操尚且龙潜之时，看穿袁绍的弱点、相中曹操的优点，在仅仅见了一面之后就果断背弃袁绍，投奔曹操，这种决断，不是大忠，就是大奸。而且，朱灵曾为旧主袁绍毁家纾难在所不辞—公孙瓒以朱灵母弟置城上而诱降，朱灵直接一句“丈夫一出身与人，岂复顾家耶！”，发兵攻城，城破而母弟俱亡，这样的狠人，是刘邦之流啊。而且，朱灵为袁绍毁家纾难，但是转眼就可以背叛袁绍，这岂止是狠辣无情，这是标准的“曹操、刘邦”的翻版，曹操作为自古奸雄样板，这一个同类环伺左右，他能放心吗？况且，朱灵不是无能之辈，陈寿对其评价是“灵后遂为好将，名亚晃等，至后将军，封高唐亭侯。”，是仅次于五子良将的存在，智勇皆有，又具奸雄气质，曹操怎能不忌惮。
曹丕当皇帝后，封了朱灵一个鄃侯，还说是让他“衣锦还乡”，但朱灵却说：“高唐，是我多年的宿愿。”曹丕于是又改封他为高唐侯。鄃地除了是朱灵的伤心地，同时也是他的遭人忌讳之地，也许朱灵自己也明白了是个打酱油的角色，被剥夺兵权后，也就认命了，这样反而让他得以善终。
这一世，魏延有了种子神器，能够看透将领的忠诚度，所以对朱灵倒没有那么多避忌，可以大胆地委任。
魏延之所以委任徐晃为护匈奴中郎将，是因为徐晃此前身在河东郡，跟匈奴人有过交集，是魏延麾下所有将领里面唯一通晓游牧民族作战方法的。
徐晃并不辜负魏延的厚望，他跟朱灵一道，领着一万战兵和一万辅兵，悄悄渡过文水，朱灵先领二千骑兵扮作献俘的匈奴骑兵，拿着从刘豹这里缴获的令牌，诈开离石城，徐晃都督其他人马紧随其后，轻取离石城，随后又以迅雷不及掩耳之势，轻取离石城附近三个县城。
被魏延扶持着登上大单于的宝座，刘豹表面上感恩戴德，但在心底深处并没有半点感激，他十分清楚魏延的心思，是想进一步削弱他们匈奴人的势力。