杨绾出身名门弘农杨氏原武房，年少时就以聪慧而闻名，他四岁时就有超过同龄人的聪敏。在一次宴会上，宾客们提出用座位中的器物以音韵四声读出来，在场的所有人都答不出来，唯有杨绾指着铁灯说道：“灯盏柄曲”，众人听后惊叹不已。
杨绾患有痼疾，拜相不久后便中风了，唐代宗还多次去探望他的病请，可惜，不久后他就病逝了，时年60岁。
据苏辙所说，他曾梦见入三清殿、拜谒询问老子。老子问苏辙是否知道杨绾，苏辙知道他是大唐贤相；老子又问他是否知道高郢和严震，苏辙都一一作答。老子又问他这三个人谁更贤明一点？苏辙表示高郢和严震都比不上杨绾。老子说这三个人都曾当过宰相，但杨绾却活的不如另外两人长寿，这是为什么呢？苏辙不知。老子回答道：“因为杨绾喜欢杀生，高郢、严震都不喜杀生，这就是个中原因啊！”苏辙醒后马上翻阅《唐书》，看了三个人的官秩、寿考，但却没发现老子所说的喜欢杀生之事。
