Il comune deve il nome all'isolotto che gli sta di fronte chiamato appunto Isola delle femmine. L'origine del nome non è certa: la leggenda vuole che sull'isolotto sorgeva un carcere femminile ma gli archeologi non hanno trovato resti di carceri. Un'altra leggenda narra che il conte di Capaci s'invaghì di una donna del luogo e la fece imprigionare sull'isolotto di Isola delle femmine perché nessun altro uomo la toccasse. Ma lei non lo ricambiava e in una notte di maestrale, mentre il mare era in tempesta, si gettò tra gli scogli, morendo. Da allora, ogni anniversario della sua morte, si sentono le sue grida provenienti dall'isolotto.