说起问渔亭，有一段濑仙问渔访友的故事。

　　据说明嘉靖年间，缙云进士樊献科，在朝廷担任监察御史。他不畏权势，将严嵩的门生、当地恶霸王坤虎送上了断头台，人称“铁面御史”。

　　不久樊献科辞官回到缙云，隐居倪翁洞，自号“斗山洞天”，过着逍遥自在的日子。

　　有一天，他的朋友濑仙来拜访他，因为仙都山有大大小小一百余个山峰，当中的奇穴异洞，更是多不胜数。

　　濑仙划船走了一大圈还是迷了路，遇到了一个老渔夫，询问樊献科的住处。老渔夫说：“这里住着一位斗山先生”。

　　濑仙一听斗山先生就是他的好朋友樊献科，于是三人见面了。斗山先生拿出了酒，渔夫拿出了刚打的鱼。

　　三人一边喝酒，一边叙旧。

　　渔夫起身告辞的时候，濑仙拿出了五十两白银赠送给他，渔夫坚决不肯接受。

　　濑仙深深敬佩这渔夫，就拿这五十两银子交给樊献科，在这块石头上建了这么一座亭子，取名为“问渔亭”，用来纪念他“访友迷路、借问渔夫、老友相会、辞谢赠金”这件事。