相傳望鄉臺原名虎愁巖，巖下清平灣住著打柴為生的張俊哥母子和李秀妹父女。俊哥秀妹從小青梅竹馬，兩小無猜，從呀呀學語到俊秀成人。
當地號稱一霸的劉莽聞聽秀妹生得俊俏，乘秀妹爹和俊哥上山打柴之機將秀妹搶回家。俊哥天黑歸家聞之，即操刀奔向虎愁巖，劈斷石屋的柵欄，將被捆綁著的秀妹從亂草中扶起，相互抱頭大哭。
劉家父子哪肯甘休，喚來一群打手圍住石屋，俊哥秀妹在逃走無望時，手挽手跳下懸崖。隨后一輪朝霞照射著瀑布下的深潭，潭中便呈現出一道七色彩虹，一直延伸到清平灣。
每當彩虹升起，鄉親們便認為這是香消玉殞的秀妹與俊哥又來看望虎愁巖的父老鄉親了，因而取名望鄉臺。于是，在人們的記憶中便自然逝去了虎愁巖。
