传说诸葛亮撰写的《黄陵庙记》也这样记述：熟视于大江重复石壁间，有视象影现焉，鬓发须眉、冠棠宛然如彩画者。前竖旗旌，右驻以黄犊；前面还有块岩石呈黑色，吉人牵牛状。“策牛者何人，尔行何日已？”黄牛就这样永远留在石壁上，让过往旅客指点、评说。
黄牛助禹开江有功，人们便在山下修了座黄牛庙来四时祭祀。宋朝文学家欧阳修任夷陵县令时，认为神牛开峡事出无稽，只信大禹治水，黄牛庙故改称黄陵庙。此庙始建于汉代，屡罹兵焚，多次重修。 现仅存明万历46年（1618）重修的禹王殿、武候祠等。
庙的主体建筑是古人为纪念夏禹而建的禹王殿。殿内有清慈禧太后所书的“砥定江澜”和署名惠王所书“玄功万古”木匾。此殿富丽堂皇，由36根两人合抱的楠木主柱支撑，柱上浮雕九条蟠龙，形态各异，栩栩如生。其中有一根“水女柱”立在殿之左侧其离地约四米的柱面一，留有历经120多年的陈旧水迹。柱上挂着一木牌，上书“庚午年（公元1870年）洪水至此”。这是珍贵的水文资料，记录了有史以来长江最大的一次洪水。庙内还存有许多记载洪水水位的碑刻。禹王殿的右侧是武侯祠，祠内后院长有一株铁树，据说是诸葛亮当年亲手所种。黄陵庙院内还有一口石井，水质极佳，黄陵庙为桔林环绕，风景优美。