关于此地有两种说法,一种相传此处是明朝张江陵故宅,张江陵即明代著名改革家张居正,万历十一年(1583年)三月,神宗下诏夺去张居正上柱国封号和文忠赐谥,并撤其子锦衣卫的指挥职务。五月,张宅被查抄,饿死十余口,长子敬修自杀,三子懋修投井未死,保存了一条性命。神宗在刑部尚书潘季驯的乞求下,特留空宅一所,田十顷,以赡养张居正的八旬老母。
家中人大多冤死,就开始传说有冤魂出没。另外一种是说此处建会馆之前为乱葬岗子,后民国初年有佛山大贾斥资建义庄,雇一面如狮的麻风老者看管义庄,待老人在此居住之后,乱葬岗子原来的夜夜鬼哭和磷磷鬼火渐渐少了,直至老人无疾而终,因为其曾患麻风,面目骇人,从无百姓赶上前搭讪,老人的身份也永远成了迷……自老人死后,厉鬼重生,有行止不端或者不孝人家常见墙外无端扔来些石头瓦砾,并传来訇骂声,开门却杳无一人……