据赵王村现存的一通清代石碑所载，与赵王墓隔河相望的村外放牛坡（地名）上的赵王庙，建于大金明昌二年，即公元1191年。但有关赵王庙的来历，赵王村一带的百姓却有另外一种传说。

据说，在很久之前的某一天黄昏，赵王村和它附近几个村子的乡民们都听到了这样的吆喝声：“各家各户今晚早点把牲口都喂饱饮足！”他们不知道是谁在吆喝，也不知道要他们把牲口喂饱饮足是要干什么。但大家还是都照着做了。这一天夜里，有睡觉轻的人听见隐隐有什么声音，“忽里隆腾”地在村口方向响了一夜。

第二天早上人们起来，忽然发现自家的骡子、牛、驴、马，全都大汗淋淋地在圈里卧着，累得一动不动，甚至连院里的狗和鸡窝放出来的鸡，也是一个个无精打采浑身汗湿。紧接着，有人就发现，村外放牛坡一带，到处都是牲畜鸡犬的蹄印子，而在光秃秃的坡顶上，竟然在一夜之间就出现了一座高高大大的庙院！

消息一传开，人们便簇拥着来到了放牛坡。有识字的人看了，就告诉大家说这庙里供奉的是赵王石勒。于是， 大家就把此庙称作了赵王庙，而且也明白了自家那些牲畜鸡犬忙乎了一黑夜，原来是给赵王爷修庙去了。