从此，李世民的公馆便成了江湖豪客的秘密聚会所，他除了得到许多谋士为他效力外，还交结许多拥有兵将的英雄人物。
霍邑之役显神通
“如今皇上昏昧，民生困窘，咱们晋阳城外就是战场，每天厮杀来厮杀去，我们即使有心改善百姓的生活，也无法在这兵荒马乱的时候实施，所以我认为只有顺从民意，发动义兵，才是最好的方法，您说对不对？”李世民积极地游说父亲。
李渊听后大怒，忙把李世民关在房里不让他出来。但是李渊不禁想起当年那位奇异书生的话。再有，这回突厥来侵犯边境，李渊因兵少不幸战败，朝廷方面不听解释，曾经要派人押解李渊到江都问罪，幸亏得人解劝，隋炀帝才收回成命，不再追究。李渊想了一夜，终于同意起兵了。这一年，李世民年仅二十岁。
大业十三年（617年），李渊尊隋炀帝为太上皇，辅持当时留守长安的代王侑（隋炀帝之孙）为帝，传送檄文到各郡县。古代社会臣子反叛是极大的恶名，因此李渊父子不得不找一个合理的借口起兵。他们以“废昏立明”为口号发动起义，李氏大军浩浩荡荡地向长安开去。起义的第三天，就把太原外围的几个郡县都攻下来了。