今から千年ほど昔、東富松の農家に男の子が生まれた。生まれながらに歯が生え、髪の黒々と長く目もギラギラと光りまるで成人の風ぼうだったので、両親や一族の者は恐ろしくなり、島下群茨木村（現大阪府茨木市）に捨てた。
その後この子は京都の奥大江山に住む盗賊の酒顛（しゅてん）童子に拾われ茨木童子と名付けられた。やがて、この子も盗賊になり酒顛童子一の子分となった。
それから、幾年か過ぎ風の便りに、両親が病気であることを知った茨木童子は、父や母に会いたい一心ではるばる大江山から東富松の家へかけつけた。両親は子どもを捨てたことを大そう後悔し、童子の好物である団子をだしてもてなした。（今でも西富松神社では、毎年九月一日に八朔祭〔はっさくまつり〕として近隣の人々にだんご〔もち〕がふるまわれます。）
しかし、一族は成長してさらに荒々しくなった容姿を見て恐れおののいた。このため童子は「いまは洛陽の東寺の門に住んでいるが、再びおたずねすることはないでしょう。これでお別れです。」と家を出た。両親は近所の人に追いかけてもらったが、童子はきつねのような速さで走り去った。
以来、童子が東寺で安住できるようにと安東寺、その後両親が童子の無事な成長を願って庵を建てたということでそれが今の安堂寺となったという、いわれがあります。