相傳，宋代有個叫單福的石匠，一生給人家造成了不少橋，心想也在自己家鄉(xiāng)門口的江山建造一座，但嘆息沒有幫手。他膝下只有一女叫小姣，長得聰明美麗。小嬌知道父親的心思，便要求參加幫助干。但那深山采石，百里運石的苦和累，小女子怎么受得了， 所以單福就是不答應(yīng)。小姣跪在地上苦苦哀求，單福沒奈何，才含淚點頭。他還把三個徒弟找來幫忙，不久就干起來了。由于開山運石的苦和累實在難受，大徒弟和二徒弟先后悄悄地溜了。單福和女兒，三徒弟為修橋鐵了心，繼續(xù)風(fēng)里雨里苦干著。但好幾年過去了， 運到江邊的石頭只有一小堆，這樣累死苦死，橋也建不起來。小姣一咬牙，請人寫了“捐身修橋”四個大字，插了個草標，坐到江邊石堆旁。一連三天，來看的人無數(shù)，但望望滔滔的江水，就都走了。這天，忽然來了個瘸子，身背一把扇子，摘了草標，問小姣愿愿意跟他走，小姣回答說：“什么時候把大山里的開采的石頭全運到江邊，就什么時候跟你走。”這瘸子原來是八仙中的鐵拐李。他擠出人群，騰云駕霧，很快來到百里外的大山，從背上拿下扇子，對著單福和三徒弟開出的石頭就扇。石頭竟都飛了起來，又紛紛都落在江邊。單福和三徒弟也被 從山上扇到造橋工地。鐵拐李還怕不夠，又對身下立著的一塊巨石扇了三扇子， 他就站在那巨石上飛到江邊。只見底下盡人，未敢讓巨石落下。又聽單福大聲說：“石頭夠了”他便駕起云頭，飄游起來，游到黃山，見黃山風(fēng)景秀麗，便將石頭落下。從此，這飛來石就給黃山增添了絕妙的一景。另外還有兩處飛來石，一在翠微峰側(cè)，一在古穎林庵前小峰上。