关于红豆为何代表相思，有很多种不同的说法。
相传，古时有位男子出征，他的妻子朝夕倚于高山上的大树下祈望，因思念边塞的爱人，经常泪留满面。
当泪水流干后，流出来的是鲜红的血滴。
血滴化作粒粒红豆，掉在地上生根发芽，日复一日，春去秋来，幼芽长成了大树，结满了一树红豆，人们称之为相思豆。
另一种说法，很久以前，有一位美丽的姑娘，为盼望寻找幸福泉而出走的伴侣，每天在山坡上遥望远方哭泣，泪珠洒到树枝上便长出一颗颗纯红色的“心中有心”的红豆豆，人们把这种红豆叫做相思豆。
还有一种说法，相传为战国宋康王的舍人韩凭和他的妻子何氏所化生。
据晋干宝《搜神记》卷十一载：宋康王舍人韩凭妻何氏貌美，康王夺之，并囚凭。
凭自杀，何投台而死，遗书愿以尸骨赐凭合葬。
王怒，弗听，使里人埋之，两坟相望。
不久，二冢之端各生大梓木，屈体相就，根交于下，枝错于上。
又有鸳鸯雌雄各一，常栖树上，交颈悲鸣。
宋人哀之，遂号其木曰‘相思树’。
红豆作为情人的相思物，古往今来，引发过数不清的缠绵悱恻的爱情故事。
红豆寓意红豆寄相思，自古今来流传了许多佳话，唐朝著名的诗人王维的《相思》“红豆生南国，春来发几枝，愿君多采撷，此物最相思”。
这首五言绝句，借物抒情，使红豆成为最负盛名的相思豆，红豆树也被人们称为相思树。