万曆三十六年，大师计划修建曹溪大殿，化缘金，运木材，都亲自奔波。

第二年二月，大师从端州运木材回来，被大风阻在羚羊峡。这时大师漫游端溪，写了一篇《梦游端溪记》。木材运到蒙江，大师先入山，正想召集僧众搬运木材时，不料有几个奸僧被奸商所动，出来反对大师，造谣说大师侵吞了常住，并鼓动大众反对大师，寺内一片喧哗。大师看到这情况，心中歎息说：「这都是我重建佛教，太着相的过错啊!」

正当大众溷乱时，大师独坐在堂上，焚香诵《金刚经》，诵到佛说四见即非四见时，忽然大悟，即下笔写了一篇《金刚决疑》。稿成时，大众也寂锋了，但这几个奸僧却上告到按院，按院准其辩明是非。

大师飘然出门到按院听理，但困在芙蓉江病了二年，到了第三年七月才到郡县。这时「直指按部」也到郡访大师，因司理听信奸僧的诬告，欲加罪于大师，「直指按部」出来反驳说：「大师大有功于六祖，他捨去了自己的一切来振兴祖庭，现在奸僧反而得利，这难道是平等法门吗?」司理只得下放本府严究。本府到了曹溪，调查了实际情况，瞭解到大师对常住财物丝毫无犯，本府重怒奸僧，要不是大师的解救，难免一死。

本府见大师如此高洁，再三请大师留住山中，但大师对修建丛林之事已生厌倦，因此力辞。大师把禅堂交付弟子怀遇掌管之后，自己一人飘然长往了。

大师离曹溪时有付弟子诗十绝，录三首如下：

福田种子要深栽，

因果如临明镜台。

亲到宝山千万次，

这回不可又空回。

功德园林不可轻，

脚跟步步要分明。

莫教错落随他去，

免使盲人又夜行。

少小能存向上心，

毫芒终长到千寻。

只须历尽冰霜苦，

姑得成材出郭林。

大师到南岳时有留给岭南弟子诗十绝，录四首如下：

底事分明在己躬，

不须向外问穷通。

但能触处回光照，

莫被尘劳困主公。

大道从来绝本真，

多因分别强疏亲。

直须看破娘生面，

方是尘中特达人。

尘劳浪迹久和光，

只为拈提此事忙。

千尺钓竿几斫尽

海天回首更茫茫。

为法甯辞道路赊?

空云瘴海是天涯。

频将一点曹溪水，

灌溉西来五叶花。