源氏再興の昔、”伊豆の三四郎”と呼ばれる若武者が、中の島にきびしい平家の追求の目を逃れて隠れ住んでいた。治承4年、源氏の白旗は伊豆の空にひるがえり、頼朝の急使は仁科の豪族瀬尾行信のもとに走った。三四郎に恋心を抱いている行信の一人娘小雪は、出陣の書状を抱きしめ、三四郎のもとに急いだ。しかし、上げ潮の怒濤は凄まじく、小雪はついに波間にその姿を没してしまった。

その悲しいロマンの伝説を秘める三四郎島は、干潮時になると巾30メートルの石の橋で陸地と結ばれ（トンボロ現象）、歩いて渡ることができる。ここを土地の人は古くから瀬浜と呼び、海静かな春の干潮時は磯遊びの好適地となっている。また、三四郎島の白い岩肌には波千鳥が舞い、夕日はことのほか素晴らしい。