相传为吕洞宾修仙得道的洞天福地。原名“佛手岩”“佛手庵”。因洞口外形酷似一巨大的手掌，使人产生佛法无边的联想。一些史志上又称其为“岩憩庵”，“僧缘崖”。是古时候僧侣犯了戒律后，面壁思过的地方。如酒戒、色戒、杀戒等等。
传辩唐代吕洞宾两科举不第，内心十分郁闷，前来庐山游览散心，走到庐山南麓，归宗寺时题诗曰：“一日清闲自在仙，六神和合报平安，丹田有宝休寻道，对镜无心莫问禅”，表示一心向往功名，虽士途屡遭挫折，也决不会皈依佛道之门，不管旁人说他是怎样的奇材，要如何替度他成仙，吕洞宾一概没兴趣，唯一向往功名。
随后，吕洞宾登上庐山来到黄龙寺，见很多善男信女对佛事虔诚得了不得，又传闻黄龙禅师茂林法力如何了得。吕洞宾根本不信，认为是妖言惑众。当日天色已晚，吕洞宾请求在寺内借宿一夜，夜里吕洞宾睡不着翻来覆去地想“什么法力无边？”全是些骗财骗物，害人之举罢了，我倒想看看你到底是真法力无边，还是假法力无边？于是乘夜色用剑击刺盘坐练功的茂林禅师，结果剑不刃血。大师安然无恙皮毛未损，吕洞宾大惊，弃剑便拜连连请罪，恳求禅师指点出路，当即写了一首悔过诗：“弃却瓢囊槭碎琴，如今不炼永中生。自从一见黄龙后，始觉从前错用心。”还说“我一生鄙视佛法，屡遭失败。看来是不对的”。
于是品洞宾有意真心悔过，一改以前不信任佛道之行为，就来到这个人迹罕至的岩洞中，潜心思过，最后得汉钟离的“长生决”，“延命术”。练成“金液大丹之功”得道成仙。吕洞宾在历史上实有其人。姓吕岩山西永济人，生活在唐末，五代时期《全唐诗》中拥有其诗词249首。是当时著名的道士，自称回道人。年幼熟读经史，十岁能文，但仕途坎坷一济，屡考不北，遂浪迹江湖，创立“全真教”成为全真派北五祖之一。（北五祖：王玄埔，钟离权，吕岩，刘操，王重阳），时逢李唐王朝崇尚道学，唯道独尊，吕祖轶事传闻雀起，民间传说他集“剑仙、酒仙、诗仙、色仙”于一身，放浪不羁，弃儒学道，仗剑云游，扶弱济贫，锄暴安良。演义出“江难斩蛟”，“岳阳弄鹤”，“三醉岳阳楼”，“三戏白牡丹”（名妓）等风流韵事，遍游名山大川，来往于仙凡二界。
庐山仙人洞是全国众多吕祖岩中最出名的一个。毛主席多次来过这里。1959年夏，江青在仙人洞“仙路”旁，拍了一幅以锦绣峰御碑亭为背景的照片，右上角摄取有苍劲的松枝，映衬在夕阳夕下的暮色之中，显得十分苍凉悲壮。1961年9月9日主席在“芦林一号”居在时再次见到此照片，毛主席根据当时国际国内形势（国际上共产阵营的排挤，苏联撤回专家，国内三年自然灾害。政治上与刘少奇的斗争即将突起，借《为李进同志所摄庐山仙人洞照抒发了自己的胸臆，在照片背面题了一首七绝“暮色苍茫看劲松。乱云飞渡仍从容，天生一个仙人洞。无限风光在险峰”，显示出伟人豪迈洒脱的精神风貌，从此庐山仙人洞声名远播。
据说江青还为之和了一首诗，“江上有奇峰，锁在云雾中。寻常驻机构看不见，偶尔露真容。”其实这是一首写景诗，没有多少政治意义，但“四人帮”被打倒后，却被后业很多文人强拉硬块，说成是写意诗。诗中隐含着很大的政治野心。“江上有奇峰”是指江青本人；“锁在云雾中”指延安时规定不让她从政，所以只能搞搞摄影。“寻常看不见”指她一直隐藏在暗中，幕后指使篡权，等“文革”中老师们都整得差不多了，她才显露出政治上的野心。“偶尔露出真容”。人们才看清她的“庐山真面目”露出好粗的狐狸尾巴。 故事传说得沸沸扬扬，使仙人洞名气很大。
