李世绩虽处窦建德之营，为窦建德镇守黎阳，但心中却无时无刻想要重新归唐，不过又怕牵连了在窦建德身边为人质的老父李盖，所以便和原宋州刺史、阳翟郡公郭孝恪商量。
郭孝恪道：“你我才归降窦建德不久，此时无论做什么事，都会受到猜忌，所以现在应当先立功，取得窦建德的信任，然后就可以谋划归唐之事了。”
李世绩听从了郭孝恪的劝告，不久后便带兵出黎阳，袭击了王世充的获嘉县，攻陷了城池，俘虏了许多人并缴获很多东西，都通通献给了窦建德，窦建德因此对李世绩很好。
李世绩又派人劝窦建德道：“曹、戴二州，户口充实，孟海公占据二州，与东都的郑国貌合神离，如果发大军进取二州，指日可待。得孟海公后，再率兵逼近徐州、兖州，黄河以南可不战而定。”
窦建德认为这意见很对，便准备亲自领兵攻取河南，先派他的行台曹旦等人率五万兵马渡过黄河，李世绩带三千兵马与曹旦等人会合。
李世绩的计划，是待窦建德到河南之时，便偷袭他的营地，杀死窦建德，找回父亲并且以窦建德的地盘回归唐朝，不过恰巧这时窦建德的妻子生产，所以李世绩久等不到窦建德。
窦建德派到河南来行台曹旦，是窦建德妻子的哥哥，在河南大肆掠夺骚扰，归附的各路盗贼都愤愤不平。
盗贼首领魏郡人李文相，号李商胡，聚集五千多人，占据着孟津中城归降窦建德，但因曹旦的大肆侵扰，心中很是不岔，所以想要叛离窦建德。李商胡的母亲霍氏，也善于骑马射箭，自称霍总管。
郭孝恪探知了李商胡的情况后，便建议李世绩和李商胡结拜为兄弟，以结盟共谋大事，李世绩略一沉吟，便点头同意了，即去孟津中城找李胡商结拜。
李世绩之名，现在早已是传遍了大河南北，不知晓他的人实在不多，所以李胡商得知李世绩要与自己结拜后，顿时大喜过望，颇感荣幸，当即便叫人摆上香案，与李世绩结拜了。
随后李世绩与李胡商一同入内室，拜见李商胡的母亲霍氏，三人交谈一会后，霍氏流着泪对李世绩道：“窦氏现在丧失了道德信义，残害孟津，我们怎么能继续侍奉他？”
李世绩道：“母亲不要担心，不超过一个月，我们就可以杀了窦建德，一起归顺大唐了！”
霍氏对李世绩的回答似乎不太满意，“还要一个月？这是不是久了点，只怕到了那时，孟津都要成了一片焦土了。”
李世绩道：“孟海公还答应与我们共同杀了窦建德这贼，不过他动员、布置兵力，再到发动袭击仍需一个月左右，时间虽久了一些，但到时我们三方一起行动的话，成功的机会就要大了许多。”
霍氏不置可否，等到李世绩告辞走后，霍氏却对李商胡说：“时间长了就会发生变化，何必要等到那孟海公来，不如速战速决，先解决曹旦，吞并他的兵力，再北上对付窦建德。”