有關文旦的起源有兩種傳說，一說有個小旦，姓文，國色天香，很多人想追求，但她卻躲到偏遠鄉間終老，死後，在他住處長出一棵柚子，開花時香氣濃郁，為紀念這位文姓小旦，「柚子」便又叫文旦了。又據說十七世紀時，清朝有個船長謝文旦，海上遇難，漂到鹿兒島附近獲救，他以文旦種子為禮贈給當地居民，因此在日本「柚子」就被稱為文旦囉！
麻豆當地對文旦一詞另有個民間傳說：
相傳在清朝年間，麻豆有一個居民林旦，是鄉里人人稱讚的孝子。他的母親喜歡吃柚子，每年到了柚子的產季，林旦總是買了不少柚子孝敬母親，有一年冬天他的母親臥病在床，請了大夫來看，都束手無策，有一天他的母親突然醒來，告訴林旦說她想吃柚子，孝順的林旦馬上跑出去採買。
可是當時寒冬凜冽，柚子樹連花都沒開，怎麼買得到柚子，找了好幾天，眼看母親臨終的願望，無法完成，林旦傷心難過的跑到郊外，跪在柚子樹前，向老天爺請求生出一顆柚子給他，奇怪的是，當林旦的淚水滴落到柚子樹下，竟然馬上長出一顆柚子，沒多少，柚子樹都結滿了果實。
母親吃了他帶回的這些柚子後，沒想到病情馬上好轉，這件事也傳到鄉里每一個人，後來竟連當時的乾隆皇帝都知道，於是就派太子，也就是後來的嘉慶皇帝來台灣找柚子，嘉慶到了麻豆，就用林旦的名字旦字為名，把柚子稱為文旦。