701年(大宝元年)藤原時忠が筑紫(現　大分県)の宇佐八幡宮を勧請し創建。創建時の元号に由来した名称ですが、年号は「たいほう」地元では「だいほう」と呼ばれていおり、関東最古の八幡さまです。
その「タバンカ祭」は、全国でもここでしか見られない珍しい火祭りで、その起源は、応安三年（1370年）。大宝寺別当坊の賢了院が出火した際に、畳と鍋ぶたを使って火を消し止めたという故事を戯曲化したことに遡ります。
まず御神前に畳の中央の鍋ぶたの上の素焼きの器に御飯と冬瓜を一つずつ盛り付け、太鼓の音に乗って白装束の氏子が、畳や鍋ぶたごと器を拝殿前にほうり投げます。その器を拾った人は病気をしないといわれ、参詣の人々が競って拾い合います。
次に、拝殿前に備えられた二本の大松明に点火し、勢いよく燃え上がる火を囲んで畳や鍋ぶたを力一杯石畳に叩きつけて消火に努める様を演します。この時に発するバタンバタンという音からタバンカの名が起こったといわれ、これらの奇妙な神事が1時間にわたって行われます。