杜如晦的祖上都是北周高官。隋朝取代北周后，他的祖父杜果在隋为工部尚书，封义兴公;父亲杜咤为隋朝昌州长史。 杜如晦自幼聪慧有悟新，喜欢与人谈论历史、文学方面的知识。隋朝大业(605年—618年)年间，杜如晦被征为预备官员。
吏部侍郎高孝基非常器重杜如晦，对他说：“你有应付事态的才能，应该作为国家的栋梁，希望你能坚持住这份美德。我想先让你做个小官，就是俸禄少点。”于是用杜如晦为滏阳县尉，但不久之后，杜如晦便弃官而回。
秦府高参
大业十三年(617年)，太原留守李渊父子在太原起兵，在李渊之子李世民的强烈建议下，李渊挥军杀入长安。长安平定后，杜如晦被李世民召入秦王府任为曹参军，而后被迁升为陕州总管府长史。而太子李建成见秦王府有非常多的人才，害怕威胁到自己的地位，于是向高祖李渊建议将秦王府的官员都调到外地任职。
命令下达之后，被迁到外地的人非常多，李世民对此非常担忧。当时在秦王府任职为记室的房玄龄对李世民说：“府中幕僚虽然被迁往外地的人比较多，但是没有什么好可惜的，只有杜如晦聪慧，能洞察事理，这个人有王佐之才，你现在作为藩王，没有人才可用，将来想要经营四方，只有此人才能帮你大忙。”李世民听到房玄龄的话后才醒悟过来，对房玄龄说道：“你要是不说，差点让这样的人才流失啊。”于是李世民向李渊上奏，请求将杜如晦继续留在秦王府为官。
武德元年(618年)，李渊建立唐朝政权，同年七月，陇西薛举进犯泾州，李世民率军前往讨伐，但被击败。而后薛举突然病死，李世民再次率军讨伐其子薛仁杲，并让杜如晦等随军参赞军事。薛仁杲兵败投降，后被斩首。
武德二年(619年)，刘武周与宋金刚攻据太原，杜如晦随从李世民前往讨伐，将刘武周击退。
武德三年(620年)，李世民率军进攻洛阳王世充，而王世充又与窦建德联合，杜如晦随李世民先破窦建德，后破王世充。
李世民在征讨薛仁杲、刘武周、王世充、窦建德等割据势力时，杜如晦随从李世民参赞军事，为李世民运筹帷幄，判断军势，李世民根据杜如晦的判断准确出击，将各地反王一一消灭。
玄武政变
李世民讨伐各地叛乱，威望越来越高，遭到李建成和李元吉的妒忌，二人与李渊的嫔妃张婕妤、尹德妃暗中勾结，图谋陷害李世民。淮安王李神通以战功获封土地数十倾，张婕妤的父亲私下里找李渊想要那片地，李渊答应他，但李神通以这块地已经先赐给了自己，于是不愿意给张婕妤的父亲，张婕妤却向李渊说是李世民仗势欺人，让李神通夺走了土地。
而后杜如晦骑马经过尹德妃的父亲尹阿鼠的府邸，尹阿鼠让家童出来将杜如晦强行拽下马殴打，并且大骂道：“你是什么人，敢过我家门前不下马!”之后尹阿鼠却让尹德妃告诉李渊是李世民让杜如晦欺负尹阿鼠。李世民向李渊深刻辩解，但是李渊十分宠幸张、尹两人，不信李世民。
武德四年(621年)，李世民被封为天策上将，并建立文学馆，用杜如晦为从事中郎，为十八学士之首，李世民常常到文学馆与杜如晦等讨论经义，而且经常说到晚上。 但太子李建成却对对此非常忌惮，他对齐王李元吉说：“秦王府中能让人担心的，只有房玄龄和杜如晦两人。”于是李建成上言李渊，将房玄龄与杜如晦逐出京师。
武德九年(626年)，李建成拉拢尉迟恭遭到拒绝，于是派人刺杀尉迟恭，失败后李建成上言李渊将尉迟恭打入大牢。
李世民将尉迟恭保释出来后，尉迟恭打听到李建成和李元吉想要于昆明池对李世民不利，将此事告诉了长孙无忌，长孙无忌立刻去找李世民，让李世民先发制人，但李世民因自己与李建成是亲兄弟，所以犹豫不决，尉迟恭劝谏李世民不能以小仁而废社稷大义，并表示如果李世民不做决定，自己将和长孙无忌逃离，但李世民还是拿不定主意，尉迟恭又与侯君集日夜劝谏。
这时李世民想起了房玄龄和杜如晦，于是派长孙无忌秘密将二人召回，但二人被李渊逐出京师，私自回京就是死罪。李世民于是取自己的佩刀交给尉迟恭，尉迟恭带房玄龄与杜如晦化妆成道士潜入秦王府。
经过与房、杜二人的谋划之后，李世民终于下定决心，发动玄武门事变，将李建成和李元吉诛杀。事成之后，李世民被立为皇太子，杜如晦被任命为太子左庶子。十月，李世民论功，拜杜如晦为兵部尚书，进封蔡国公，赐实封食邑一千三百户。
贞观之始
贞观二年(628年)，李世民命杜如晦以检校侍中之职兼任吏部尚书，仍然总管东宫兵马。杜如晦在任内非常称职。 贞观三年(629年)，因发生大旱，李世民让房玄龄、杜如晦、长孙无忌等于名山大川祈雨。
同年，杜如晦代替长孙无忌为尚书仆色，仍旧管理官员的选拔，与房玄龄一起辅佐朝政。建立台阁规模以及表彰人物的事请，都是由房玄龄与杜如晦所定。二人在当时获得的赞誉非常高，被称为良相。
历史典故
房谋杜断
房玄龄和杜如晦二人同为李世民的宰相，但所起到的作用却是不一样的。房玄龄擅长给李世民出主意，但是同一个问题，他出的主意很多，李世民也不知道采用哪个好，于是这时候杜如晦将房玄龄的主意加以分析，选出一个最适用的办法，让李世民采用。
房玄龄帮李世民出主意，杜如晦帮李世民拿定主意，所以称为“房谋杜断”。二人同心同德，相互配合，辅佐李世民处理朝政。时人论及良相时，首推房玄龄与杜如晦。
刀笔之吏
玄武门事变之后，李世民对帐下官属进行论功行赏，文官里，杜如晦与房玄龄功居第一。封赏完毕之后，李世民觉得按照功劳的大小进行封赏，估计不会完全妥当，于是便问诸将谁有意见。
淮安王李神通对李世民说：“当初我们举义兵的时候，是我率领兵马先到的。房玄龄、杜如晦不过是刀笔之吏，把他们的功劳放在首位，我不服。”
李世民说：“刚刚起兵的时候，人们各怀异心，你虽然率领兵马前来响应，但是不曾上阵杀敌过，在窦建德南侵与征讨刘黑闼的战斗中，你都立有功劳。今天论功行赏，房玄龄与杜如晦有运筹帷幄、安邦定国的功劳，可以比于汉朝的萧何，虽然不是通过上阵杀敌建功立业，但是他们指挥全军获取最终的胜利，所以功居第一。叔父你虽然是皇亲国戚，但在论功行赏上，我不能有所偏颇，滥加赏赐。”
李神通是李世民的叔父，俩人关系向来比较亲近，李世民降所有宗室郡王为县公时，只有李神通的爵位保持不变，丘师利等居功自傲的武将们见到李神通都没有得到过多的赏赐，于是都觉得自己没什么好申诉的了。
援救杜淹
李世民攻下洛阳之后，将要处死王世充的部下杜淹。杜淹虽然是杜如晦的叔父，但是向来与杜如晦兄弟不和，而且杜淹还建议王世充杀了杜如晦的兄长，并将杜如晦的弟弟杜楚客囚禁。
尽管如此，在要处死杜淹的时候，杜楚客却出来求请，说同族中人相互残杀，太过残忍。于是杜如晦向李世民求请，饶过杜淹。
