杜淹年轻时聪慧明辨，学识广博，颇有美誉，与同乡韦福嗣是莫逆之交。他对韦福嗣道：“皇帝喜欢任用隐士，苏威便是在隐居时被征辟为美职。”因此一同隐居在太白山，其实是在沽名钓誉。隋文帝听闻，极为憎恶，将二人流放江南。后来，杜淹返回乡里，得到雍州司马高孝基的举荐，授为承奉郎，累迁至御史中丞。
武德二年(619年)，杜淹成为王世充的太尉府官属。四月，王世充僭号称帝，建立郑国，任命杜淹为吏部尚书，对他非常信任。当时，杜淹因与侄子杜如晦不睦，便在王世充面前进谗，致使杜如晦的兄长杜某(名不详)被杀。杜如晦的弟弟杜楚客在郑国(为王世充建立)为官，也遭到囚禁。
武德四年(621年)，秦王李世民平定王世充。杜淹作为郑国高官，被定为死罪。杜如晦在李世民麾下效力，杜楚客便请他加以营救。杜如晦不允，杜楚客哭道：“叔父已经害死大哥，如今哥哥又不肯营救叔叔，我杜家要自相残杀，真是令人悲痛。”杜如晦感悟，向李世民求请，方免去杜淹的死罪。后来，杜淹因久不升职，衣投靠太子李建成，被负责选官的封德彝告知房玄龄。房玄龄担心李建成得到杜淹会对李世民造成威胁，便举荐杜淹为天策府兵曹参军、文学馆学士。
武德七年(624年)，庆州刺史杨文干起兵叛乱，李建成与李世民的矛盾加剧。唐高祖认为杜淹未能劝导李世民，致使其兄弟失和，将他和东宫属官王珪、韦挺一同流放巂州(今四川西昌)。李世民知道杜淹无罪，只是受到牵累而已，赠他黄金三百两。
武德九年(626年)，李世民发动玄武门之变，诛杀李建成，被立为皇太子，不久继位，是为唐太宗。杜淹被召回朝中，授为御史大夫，封安吉郡公，食实封四百户。唐太宗知道杜淹熟知历代典制，让他主持东宫仪式簿领的裁订工作。
贞观元年(627年)，杜淹被任命为吏部尚书，参议朝政，成为宰相。他前后举荐四十余人，最终都成为知名官员。当时，杜淹身兼二职，却无清廉之誉，又和勋臣长孙无忌不和，因此受到舆论的非议。
贞观二年(628年)，杜淹患病，唐太宗亲自前去探望，并赏赐绢帛三百匹。
同年十月，杜淹病逝，追赠尚书右仆色，谥号为襄。
