新旧《唐书》及《资治通鉴》中，李渊胆小懦弱，胸无大志，从太原起兵到取代隋朝，皆是李世民运筹帷幄之功。但在《大唐创业起居注》中，李渊却善于隐忍，老谋深算，谋划起兵后，用不到一年时间便取代隋朝，是当之无愧的创业之主。
起兵“尊”隋
大业十三年（617年）二月，马邑太守王仁恭被其下属鹰扬府校尉刘武周所杀，刘武周向突厥称臣，被突厥封为定扬可汗，随后二者联兵进犯太原。
李渊计退突厥骑兵，以“勾结突厥内犯”为借口将忠于隋炀帝的太原副留守高君雅和王威斩杀。随后以下属礼节向始毕可汗致书，表明自己要罢黜昏君，率义兵到长安拥代王杨侑为帝。事成后便恢复先皇订立的与突厥和亲政策，入关征伐所得皆进献突厥。
始毕可汗大悦，表示只要李渊想当中原皇帝，自己马上派使者前来册封。
消息传出后，辽山县令高彬廉洁和西河郡丞高德儒忙派人到江都向隋炀帝告发。
李渊大怒，他认为辽山贫瘠偏僻，不足为虑，而西河乃南下必经之路，一定要迅速拔除。他于六月初五派李建成和李世民率军进攻西河。二人身先士卒，奋勇冲杀，只用五日便攻破西河。
李建成与李世民将高德儒斩首，其余并不追究，并开仓赈济贫苦，百姓无不称赞。李渊得知后高兴地说：“以此用兵，虽横行天下可也。”
六月十四日，李渊自称大将军，以李建成为陇西公，左领军大都督；李世民为敦煌公，右领军大都督；柴绍为右领军长史；李元吉为太原郡守，负责后方一切军政。曾劝他反隋的人都被委以重任：“以裴寂为长史，刘文静为司马，唐俭及前长安尉温大雅为记室，大雅仍与弟大有共掌机密，武士彟为恺曹，刘政会及武城崔善为、太原张道源为户曹，晋阳长上邽姜暮为司功参军，太谷长殷开山为府掾，长孙顺德、刘洪基、窦琮及鹰扬郎将高平王长谐、天水姜宝谊、阳屯为左，右统军；自余文武，随才授任。”所统军士称“义兵”，旗帜皆改白色。隋朝旗帜尚赤，李渊改旗易帜，将取而代之的心理暴露无遗。“开皇初，太原童谣云：‘法律存，道德在，白旗天子出东海。’常亦云：‘白衣天子。’故隋主恒服白衣，每向江都，拟于东海。”
李渊打出“尊隋”旗号，既是对突厥表明态度，同时也降低了争夺天下的难度。
应对突厥
始毕可汗得知李渊军中缺马，便派柱国康鞘利带千匹良马来到边境与之贸易。
李渊对康鞘利恭敬有加，并赠送重金做见面礼。“突厥遣其柱国康鞘利等送马千匹诣李渊为互市，许发兵送渊入关，多少随所欲。丁酉，渊引见康鞘利等，受可汗书，礼容尽恭，赠遣康鞘利等甚厚。择其马之善者，止市其半；义士请以私钱市其余，渊曰：‘虏饶马而贪利，其来将不已，恐汝不能市也。吾所以少取者，示贫，且不以为急故也，当为汝贳之，不足为汝费。’”
起兵之前，李渊命刘文静以借兵为名出使突厥。他专门叮嘱：“胡骑入中国，生民之大蠹也。吾所以欲得之者，恐刘武周引之共为边患；又，胡马行牧，不费刍粟，聊欲藉之以为声势耳。数百人之外，无所用之。”
大业十三年（617年）七月初四，三万义兵在太原誓师，李渊传檄四方，宣布将炀帝废黜并流放于江都，义兵将西入长安拥代王为帝，重复文帝盛世。
随后，大军沿汾水南下，很快到达贾胡堡，挡在前面的是隋将宋老生驻守的霍邑。
贾胡堡距邑城五十里，地势易守难攻。宋老生只知守城，却忽略这个战略要地。李渊大喜。“辛巳旦，东南由山足细道趣霍邑。渊恐宋老生不出，李建成、李世民曰：‘老生勇而无谋，以轻骑挑之，理无不出；脱其固守，则诬以贰于我。彼恐为左右所奏，安敢不出！’渊曰：‘汝测之善，老生不能逆战贾胡，吾知其无能为也！’”
回师风波
由于宋老生坚守不出，霍邑城池高大无法强攻，故此与义兵形成僵持局面。适逢秋雨连绵，道路泥泞难行，太原的粮草迟迟不到，军中便出现谣言：“突厥欲与武周南入，乘虚掩袭太原。”
李渊一时无法辨别消息真伪，忙召众将商议对策。
裴寂认为：“宋老生、屈突通连兵据险，未易猝下。李密虽云连和，奸谋难测。突厥贪而无信，唯利是视。武周，事胡者也。太原一方都会，且义兵家属在焉，不如还救根本，更图后举。”
李建成和李世民反对道：“武周位极而志满，突厥少信而贪利，外虽相附，内实相猜。突厥必欲远离太原，宁肯近亡马邑，武周悉其此势，必未同谋。又朝廷既闻唐国举兵，忧虞不暇，京都留守，特畏义旗，所以骁将精兵，鳞次在近。今若却还，诸军不知其故，更相恐动，必有变生。营之内外皆为劲敌。于是突厥，武周不谋同至，老生、屈突追奔竞来，进阙面南，退穷自北。还无所入，往无所之。畏溺先沉，近于斯矣。且今来禾菽被野，人马无忧，坐足有粮，行即得众。李密恋于仓米，未遑远略。老生轻躁，破之不疑。定业取威，在兹一决。诸人保家爱命，所谓言之者也。儿等捐躯力战，可谓行之者也。耕织自有其人，请无他问。雨罢进军，若不杀老生而取霍邑，儿等敢以死谢。”
李渊听罢，坚定了攻打霍邑的决心，并斥责劝他回师的人道：“尔谋得之，吾其决矣。三占从二，何籍舆言。懦夫之徒，几败乃公事耳。”
八月初，连绵阴雨停止，太原粮草运达贾胡堡，刘武周进犯的谣言不攻自破。
在新旧《唐书》里，李渊已下令回师，是李世民跑到营帐外不断哭求，才勉强答应进攻霍邑，“太宗曰：‘本兴大义以救苍生，当须先入咸阳，号令天下；遇小敌即班师，将恐从义之徒一朝解体。还守太原一城之地，此为贼耳，何以自全！’高祖不纳，促会引发。太宗遂号泣以外，声闻帐中。高祖召问其故，对曰：‘今兵以义动，进战则必克、退还则必散。众散于前，敌乘于后，死亡须臾而至，是以悲耳。’高祖乃悟而止。”
新旧《唐书》与《资治通鉴》将李渊描述成懦弱之辈，借此拔高李世民，李建成的作用则直接忽略。幸亏《创业起居注》中记录了当时情况，才让后世窥见真实的李渊。
攻取霍邑
经过谋划，李渊命建成和世民率步兵朝霍邑进发，自己先引轻骑数百到城东六里处等待。步兵来到后，李渊将人马分为十队，自己环绕城池四处巡视。
宋老生在城上看到此举，以为李渊要在城外安营，当即点起兵马，分别从东门和南门杀出。李渊稍一接战便率军逃跑，宋老生紧追其后。
李建成和李世民早在东南方埋伏，宋老生出城不久，二人便占据两门。宋老生返回争夺城门，李渊立即掉头冲杀。
厮杀正烈时，李渊命人朝敌人大呼：宋老生已死，尔等速速投降。隋军顿时大乱，很快崩溃。
宋老生拼死冲到城墙边，城上士兵忙放绳索要拉他上去。老生正向城上攀爬，被李渊的部下卢君谔看到，他率人跃起乱砍，老生从绳上跌落而死。城外隋军全军覆没，李渊下令攻城，经过两个时辰激烈厮杀，霍邑城破。
李渊入城后，对城内军民说：“老生之外，孤无所咎。纵卿不诚于孤，亦当以赤心相仰。”
若愿加入义兵，皆编入左、右领军大都督麾下，仍由其原来长官统率；不愿加入的，赐予五品散官头衔放还。众人纷纷表示愿意归顺。
“帝视战地，怆然谓左右曰：‘河东已来，孤之所使，百姓见义旗有诚节。老生所逼，至于涂炭。乱兵之下，善恶不分，火烧崐山，谁论玉石。无妨死人之内，大有赤心于我者也。取来不得，及此战亡，生未被知，没有余恨，静而思之，良深痛惜。从今已去，当以文德来之，不复用兵戈矣。其破霍邑，攻战人等有勋者，并依格受赏。’事不逾日，惟有徒隶一色，勋司疑请，教曰：‘义兵取人，山藏海纳，逮乎徒隶，亦无弃者。及著勋绩，所司致疑，览其所请，可为太息。岂有矢石之间，不辩贵贱，庸勋之次，便有等差。以此论功，将何以劝。黥而为王，亦何妨也。赏宜从重，吾其与之。诸部曲及徒隶征战有功勋者，并从本色勋授。’”
隋唐时代社会等级森严，许多底层民众沦为贵族的私产，称“部曲”或“徒隶”。他们的地位与牛马无异，并不属于百姓。人们也承认这种等级，不把徒隶当人对待。李渊能打破常规，平等对待每个士卒，这是难能可贵的。
收降孙华
几天后，李渊攻下临汾郡，紧接着攻打绛郡。绛郡通守陈叔达率众死守，但在义兵强大攻势下，很快城破。李渊知陈叔达乃南朝陈宣帝之子，便对其推心置腹，极尽礼遇。陈叔达大受感动，从此追随李渊。
将有影响力及有才学的人吸纳到麾下，是李渊在夺取天下过程中始终未变的原则。他的知人善用，并不比李世民逊色。
攻下绛郡后，大军来到黄河东岸的龙门。此时，刘文静率五百突厥兵及两千战马从后赶来。
李渊喜对刘文静说：“吾已及河，突厥始至。马多人少，甚惬本怀。”此话反应李渊对突厥的真实态度：既要拉拢，又时刻防范。
龙门不远处是隋将屈突通据守的河东郡，是先渡黄河进入关中，还是先攻取河东，李渊拿不定主意，于是向众文武征询意见。
府掾薛大鼎认为：义兵应迅速渡河，占据渭水南岸的永丰仓，此仓乃关中及京师粮草之源，到时传檄远近，关中各地定望风归附。李渊表示赞同，但诸将反对：“屈突通拥众据城，吾舍之而去，若进攻长安不克，退为河东所踵，腹背受敌，此危道也。”
河东县户曹任瓌熟悉关中形势，便对李渊说：“关中豪杰皆企踵以待义兵。瑰在冯翊积年，知其豪杰，请往谕之，必从风而靡。义师自梁山济河，指韩城，逼郃阳，萧造文吏，必望尘请服。然后鼓行而进，直据永丰。虽未得长安，关中固已定矣。”
李渊听罢，命军士每日大张旗鼓朝河东城内呐喊，但只围不攻，屈突通也不出城应战。义兵主力逐步往河岸的梁山，壶口等地靠近，并征集沿岸居民的船只，等待时机渡河。
西渡黄河
李渊在壶口亲自写一封书信，命人前往西岸送给孙华。孙华很快从邰阳县渡河，来东岸拜见李渊。李渊大喜，封其为左光禄大夫，武乡县公，冯翊太守等职，并命他返回关中准备接应。
孙华去后，李渊命王长谐、刘弘基、陈演寿、史大奈四名将领率六千人依次从梁山境内的河桥（后称蒲津桥）渡河，驻军于河西以待大军。
众将领命，李渊叮嘱道：“屈突通精兵不少，相去五十余里，不敢来战，足明其众不为之用。然通畏罪，不敢不出。若自济河击卿等，则我进攻河东，必不能守；若全军守城，则卿等绝其河粱：前扼其喉，后拊其背，彼不走必为擒矣。”
当夜，四将率军渡河，孙华早在对岸接应。屈突通得知义兵过河，忙派部将桑显和率数千人追击。隋军追上王长谐大战，孙华、史大奈率军袭来，桑显和大败，率残兵逃回河东，并斩断了河桥。
次日，李渊率军攻打河东，屈突通率众死守。义兵士奋力攻打，忽天降大雨，李渊忙鸣金收兵。
众人不解其故，李渊解释道：“屈突宿卫旧人，解安阵队，野战非其所长，婴城善为捍御。我师常胜，人必轻之，骁锐先登，恐无还路。今且示威而已，未是攻城之时。杀人得城，如何可用。”
李渊率部准备渡河进军关中，屈突通果然不敢出城阻截。消息传开后，冯翊太守萧造表示，待大军过河，自己便举郡归附，河西各县都派人来联络，皆有归附之意。
九月，李渊率主力渡过黄河。朝邑法曹靳孝谟献蒲津，中洋二城，华阴县令李孝常也献出境内的永丰仓请降。
李渊入驻朝邑长春宫，冠氏县长于志宁，前安养尉颜师古及李世民妻兄长孙无忌各率豪杰前来参拜。李渊拜于志宁为银青光禄大夫，颜师古为朝散大夫，长孙无忌为渭北道行军典签，三人后来都为大唐盛世的出现发挥过重大作用。
兵围京师
大军进入关中，下一步如何行动又成了争论焦点。
裴寂认为：“屈突通拥大众，凭坚城，吾舍之而去，若进攻长安不克，退为河东所踵，腹背受敌，此危道也。不若先克河东，然后西上。长安恃通为援，通败，长安必破矣。”
李世民反对道：“不然。兵贵神速，吾席累胜之威，抚归顺之众，鼓行而西，长安之人望风震骇，智不及谋，勇不及断，取之若振槁叶耳。若淹留自弊于坚城之下，彼得成谋修备以待我，坐费日月，众心离沮，则大事去矣。且关中蜂起之将，未有所属，不可不早招怀也。屈突通自守虏耳，不足为虑。”
李渊采取两手措施，一面派李建成率数万人屯于永丰仓，监视关东及河东隋军动向；一面派李世民率数万人经高陵、泾阳、云阳、武功、盩厔、鄠县迂回西进，收纳沿途反隋力量，为进攻长安做准备。
李渊的堂弟李神通与女儿平阳公主早在太原起兵时便逃出长安，与京师人史万宝、河东人裴勋聚众反隋。
平阳公主招降了何潘仁，李仲文、向善志、丘师利等各路势力，占据户县，鄠县，盩厔，武功，始平等地，兵力多达七万。她创建的“娘子军”多次击败隋军，名气响彻关中。李渊安排世民迂回西进，正为与堂弟和女儿汇合。
九月二十七日，李世民吸纳各路人马，又命刘弘基和殷开山攻占隋军驻守的扶风县。他向李渊汇报情况，请率军前来会师。李渊大喜，命建成率永丰仓主力随自己一同赶赴长安。
十月四日，李渊到达长安东面的春明门；李建成到达长乐宫旧址；李世民屯兵长安西北的故城，李仲文和向善志等部屯于长安西面的阿城，二十余万大军将京师围定。
拥立代王
李渊屡次向城内劝降，声明自己要拥立代王复兴大隋，希望守军开城迎接。
代王杨侑年仅十三岁，哪能应对如此局面。负责辅佐的刑部尚书卫玄以年老多病为由，整日在府邸“修养”，只有左翊卫将军阴世师，京兆郡丞骨仪不断加强城防，誓死守城。
十月二十七日，李渊下令攻城。两日后，李建成部署率先攻入城中，京师守军崩溃。长安城破，卫玄惊惧而死，阴世师和骨仪被斩首示众。
李渊下令封府库，收图籍，禁掳掠。随后出城驻于长乐宫，与父老约法十二条，废隋朝种种苛政。百姓欢欣不已，很快恢复平静。
屈突通得知长安被围后，命部将尧君素守城，自己与桑显和率部渡河，欲救援长安。但李渊早安排刘文静和王长谐在潼关阻截，屈突通无力前进。
长安城破后，诸将劝李渊登基，李渊说：“举兵本为社稷。代王乃社稷之主，卿等岂可妄语？”
十一月十五日，李渊自长乐宫入城，迎杨侑到大兴殿登基，遥尊炀帝为太上皇，改大业十三年（617年）为义宁元年。
此时杨侑已成傀儡，他拜李渊为大都督，尚书令，大丞相，进爵唐王，以武德殿为大丞相府，并赐李渊假黄钺，使持节，兼管内外兵马的大权。
十一月十九日，杨侑下诏，将一切军政大权交给李渊，自己只负责祭祀天地等典礼。二十二日，李渊以长子建成为唐世子，次子世民为京兆尹、秦公，四子元吉为齐公。
屈突通受阻潼关，损兵折将。长安失守的消息传来，隋军纷纷扔下武器投降，屈突通也被擒送长安，李渊将他释放，并授兵部尚书，封蒋国公。
随后命他返回河东，令尧君素献城投降。尧君素大骂屈突通不守臣节，誓死不降，屈突通羞愧而回。尧君素后被部下杀害，河东也归顺李渊，此是后话。
李渊在长安广招人才，他不念旧恶，唯才是举，对李靖这种曾向炀帝告发自己谋反的人也礼敬有加，委以重用，引得关中豪杰纷纷归顺，唐王势力更加强大。
开创大唐
义宁二年（618年）三月，杨侑要将皇位禅让李渊。裴寂等人劝唐王受禅，李渊依旧拒绝。与此同时，江都的隋炀帝被宇文化及弑杀，宇文化及另立秦王杨浩为帝，实则为其傀儡。
两个月后，炀帝驾崩之讯传回长安和东都洛阳，在洛阳抵御瓦岗军的隋将王世充立越王杨侗为帝。李渊则嚎啕大哭，臣子劝他不必如此，李渊怒道：“吾为人下，丧居何可不哀！然亦恨后主不亡于开皇之末，以延鼎祚耳。”
四月，裴寂率众上表，请李渊上遂天心，下顺民情，赶快受禅登基。
李渊把表文全退下去，仍不表态。
裴寂第三次劝进，并说：“陛下欲让至尊而为臣下，恐隋朝不然此事。且臣等唐之将佐，茅土大位受之唐国。陛下不为唐帝，臣等应须去官。伏愿深思，容臣等有地。”李渊笑道：“裴公何相逼之深，当为审思。”
裴寂见状，又率人再次劝进，李渊终于答应。他对众臣说：“所以逡巡至于再三者，非徒推让，亦恐群公面谀，退为口实。”随后他引用汉高祖称帝时的言语道：“诸侯王推高于寡人，以为皇帝位，甚便宜于天下之民，则可矣。孤亦何能有异之哉？”
老谋深算的李渊，在炀帝被弑，群臣三请三让后，于义宁二年（618年）五月二十日登基称帝，定国号为唐，改当年为武德元年，降杨侑为酅国公，并下诏改郡为州，以太守为刺史。从此，历史进入大唐时代。
自大业十三年（617年）七月初四太原誓师，至义宁二年（618年）五月二十日，李渊仅用十个月便取代了隋朝。在一系列过程中，他表现出一个成熟政治家和军事家的风范。
