泰山行宫俗称“泰山庙”。始建于明正德十三年（1518年），后毁于1938年台儿庄大战战火。台儿庄古城重建时，对其遗址进行了考古发掘。2011年按明代建筑风格原址恢复了碧霞宫、观音殿、财神殿等主要建筑，按民国建筑风格原址恢复了山门等。同时，对如来佛殿遗址科学保护，以供游人观瞻。该庙占地面积 2000平方米，建筑面积826平方米，主奉碧霞元君。每年四月八日和四月十八日是其进香日。盛时，方圆300里和沿运河上下600里的商贾和信众云集台儿庄，会场占地多达9平方公里，可容8万余众。

在1938年的台儿庄大战初期，泰山行宫曾作为中国守军的城防司令部（即186团指挥所）使用，因此也便成为争夺的焦点，敌我双方在此展开了三天两夜的拉锯战。3月28日黎明，日军五六百人在台儿庄西北城墙缺口处发起攻击，几进几出。守城的186团战士轮番上阵，台儿庄城内外尸体枕藉，血流成河，双方陷入苦战状态。入夜，守城部队配合敢死队袭击日军据点，逐巷逐屋展开肉搏，一直激战到30日傍晚，终将日军逼到城外。战后的泰山行宫，化为一片瓦砾。