Skarpensten er ifølge overleveringen kastet mod Agersø af en vred jætte. Og så skulle den vende sig, når den lugter friskt rugbrød. I en lidt længere historie forklares, at Skarpensten indgik i en stenkæde, der omsluttede bygdekongen Tols rige. Indenfor stenkæden tålte Tol ikke rigskongens nærvær.
Achton Friis fortæller alligevel den bedste, men også mest sørgelige historie, da han betragter Skarpensten under sin rundtur til 'De Danskes Øer' med skuden Rylen i 1923. Han skriver:
”Om den ensomme Jættepige paa Øen, der længes mod Kæmpen paa Fastlandet eller den store Ø, men hvem det stride Hav skiller hende fra, og som bærer Sten i sit Forklæde for at bygge Bro imellem sig og det store Karlfolk derovre, men altid rammes af Uheldet med det bristende Forklædebaand — en Begivenhed der indtræffer i Utide og først skulde have fundet Sted, naar hun sank i den elskedes Favn. Nu sker der i Stedet for kun dette, at alle Stenene falder i Vandet, og dermed brister mærkeligt nok én Gang for alle Pigens Forhaabninger, man hører aldrig nogensinde, at hun gentager Forsøget, men kun at hun i sit Raseri griber den største Kampesten og slynger den over mod det forjættede Land, hvorhen hun aldrig selv skal naa.
Derfor ligger disse store, mærkelige Sten rundt om ved vore Smaaøers Kyster, de er Minder om de utallige Øbopiger med det vilde, heftige Sind og med den haabløse Længsel.