明末清初年间，有个名叫五十震的小县。话说此县有一传言：居于天嵴之上，食与天发之间。不安，则天怒，皱一眉，五十载。此县有一山唤作“香山”，吕林崇这个穷酸秀才就居住此山的南边角下，仅有一墙之隔的是县里的一个庙宇，名叫“南香寺”。
吕林崇早年中了个秀才，后屡屡名落孙山，父亲临终嘱咐一定要守住这个房子，就撒手归了西。母亲王氏是个信佛之人，成日里吃斋念佛，吕秀才很是孝顺，忙完家里活才读书，日子清苦，倒还过得下去。
一日，夜深人静，吕秀才还在持笔做诗，忽传来“吱，吱”声响，吕秀才一惊，放下笔来，侧耳细听时，那声响却没再响起。没等多久，那声音又传来，秀才仔细听，是墙角传来的，走过去听，又没了那声响，想估计是那老鼠在啃吃木头，于是不再理会。一连几日半夜都能听到几次那声响，吕秀才多次起身想找出原因，却都不了了之。
这日，吕秀才一早去了寺庙。只因今日是月半十五，吕秀才和庙里主持相约一同品茗洽谈。茶席之间，老方丈说起了前几日夜里寺庙半夜老鼠乱穿的怪事。吕秀才想起半个月来半夜听到的声音，得知寺庙老鼠事件，想来是一墙之隔，难免听得到，倒也放心了。
几个月过后，家里油盐殆尽，秀才不忍母亲挨饿，上街卖字画维持家用。但生意冷淡，几日卖不了一幅字，偶尔有人家请他写对联，一副对联只不过一文钱，街头的包子还得三文钱一个。一日夜里，吕秀才背着字画回来，今日只写了三副对联，再加上前段时间攒的几文钱，凑在一起交给了母亲。母亲叫他早些歇息，这几日县里的河水涨的快，半夜有什么响动醒来勤快点。吕秀才点头答应，托着疲倦的身子，喝了点汤水便回房去了。
当晚夜里，秀才又听见那声响，因实在困倦，没再起床。谁知那声音越来越响，忽一声巨响，把吕秀才吓得滚下了床，起身披了件薄衫开门去查看动静，但周围寂静，什么声音也没有。只好又返回了房内，欲想上床睡觉，只见床旁的墙闪出一道亮光，吕秀才以为眼花，揉了揉眼，亮光还在，像是从墙底发出来的光。他有些害怕，朝那亮光走去，只见在墙角一处的地面已经塌陷，露出一条通向地底的楼梯，里面光亮通明。
吕秀才小心翼翼顺着楼梯走下去，越走越感觉凉凉的，像是有一股凉风从脚底吹来。楼梯越往下就越大，周围的石壁相隔也渐渐变宽。待下到楼梯尽头，他发现，此处别有洞天，洞内石头奇形怪状，相互连接，整个地洞面积姑且有几亩大小，在一座奇石旁有口一方大的池塘，池内水清澈透明，池底有个眼口，时不时向上冒出蘑菇状的水泡。他继续向前走，就在一大块怪石的转弯处，忽见地上金光闪闪，刺得他忙躲到石头后面。然后通过石头孔朝那光亮看去，顿时吓了他一屁股砸在地上，那发光的不就是黄金吗？他赶紧爬到闪光处，伸手摸了摸，又拿了一个用袖子擦了擦，放在嘴里狠狠咬了一口。吕秀才傻笑，自己摔在了金子库了。有了这些金子，母亲再也不用挨饿了，他跪在地上，三拜九叩，然后脱下自己的薄衫，整齐铺在地上，开始往里装金子。就在此时，他好像发现墙上有东西，放下手中的金子，仔细一看，原来有图像和文字，字迹还算清晰，吕秀才一字一句阅读起来。
原来这是几百年前，吕家祖宗存起来留给子孙们的，这个洞建造的很巧妙，是根据此地地形来建的。此地下有一条地下暗河，根据阴晴圆缺，这地下河每五十年满一次水，水涨推动石块，石块又连接了河上的一个石头，这样连续作用，通往洞内的门在水满之时打开，这就是为什么听到“吱，吱”声的原因。
原来“皱一眉，五十载”说的就是县里每五十年的洪水，吕秀才斟酌了一番，继续看下去。就在此时，他的后脑勺被狠狠砸了一拳，整个人摔在了黄金堆里。吕秀才忍痛翻身一看，竟是老方丈。
“我等这天已经等了五十年。五十年前要不是你爹阻扰，我哪会剃发吃斋念佛。”此时的老方丈像极了一头猛兽。
“这么说，你一直知道这里。”吕秀才恍然大悟，三十年前担心方丈会有今天，故叮嘱母亲一定要守住这房子。
“现如今这金子全部是我的了，我要将他们全部搬走。”老方丈推开了吕秀才，将自己的袈裟铺在地上，疯狂地往里装金子。吕秀才只好捡了自己的薄衫，站在一旁。
这时，那声音又出现了，地也开始摇晃起来，吕秀才急了，拉住方丈说：“快走吧！门就要关了，墙上说了：不安，则大怒。你拿点就走吧！快点逃吧！”
“谁说的，这金子是我的，是我的。我要想尽世上的荣华富贵，我要过皇帝一样的日子。”方丈一把抓住吕秀才的领子，呵斥道：“你是不是想霸占我的金子，是不是！”说着用力一推将吕秀才推进了池塘，转身又忙着装金子。
吕秀才只感觉身边一股强大的力量将他往暗河里拉，他知道这池塘有个口，是通往地上河。
不知过了多久，吕秀才被水冲到了下游滩上，醒来后拖着沉重的身子回了家。回到家，换湿衣服时，打开一看，胸前袖子里全是金子，正应了墙上最后那句：顺者，则富贵。
后来打听，庙里的老方丈失踪了，至今没找到尸首。吕秀才叹了叹气，世间又有多少人为了钱财丢了性命。于是带着母亲离开了那里，到别处安身享清福去了。