五陵豪杰是泛指。五陵，是以西汉王朝在这里设立的五个陵邑而得名的。汉高祖九年（前198年），刘邦接受了郎中刘敬的建议，将关东地区的二千石大官、高訾富人及豪杰并兼之家大量迁徙关中，伺奉长陵，并在陵园附近修建长陵县邑，供迁徙者居住。以后，汉惠帝刘盈在修建安陵，汉景帝在修建阳陵，汉武帝在修建茂陵，汉昭帝在修建平陵之时，也都竞相效尤，相继在陵园附近修造安陵邑、阳陵邑、茂陵邑和平陵邑。“不见五陵豪杰墓，无花无酒锄作田。”意思是：历史上的所为豪杰之士虽然也曾一时的辉煌，如今确墓冢不存，只能被当作耕种的田地，哪有我唐寅倚花饮酒这样的洒脱，倜傥。