据康熙《南阳府志》记载，南阳玄妙观建于元世祖至元年间，是在南阳县老君堂基础上兴建的，距今已有７００多年历史。“玄妙观”之名取老子《道德经》“玄之又玄，众妙之门”之语。“玄妙”二字的意思是“幽深谓之玄，理微谓之妙”。 到了明朝，南阳玄妙观有所发展。明洪武十五年（１３８２年），明令颁布设立道教管理机构：府设道纪司，置都记、副都记各一员；州设道正司，置道正一员；县设道会司，置道会一员。南阳府道纪司常设于玄妙观，由方丈担任都记。
由于明代的权贵们崇奉道教，营建或重修宫观的风气浓厚，南阳玄妙观也得以重修。经洪武四年增建、正统二年扩建及嘉靖、万历年间增修，南阳玄妙观逐渐成为豫西南著名的道教活动中心，并成为全国一大丛林。
清康熙年间，为避清圣祖玄烨讳，改玄妙观为元妙观。乾隆、咸丰等年间屡有增葺，并逐步达到玄妙观的鼎盛时期，成为全国道教“四大丛林”之一。
玄妙观鼎盛时期的主要建筑，沿中轴线前后依次是无梁殿、“惠浃中州”牌楼、山门、四神殿、三清殿、玉皇殿、祖师殿、斗姥阁；左边依次是灵官殿、太公殿、三官殿、韩祖殿；东偏院内依次是十方堂、武侯祠、藏经阁、吕祖殿、泥牛古迹、桑麻轩。右边依次是城隍殿、七真殿、五老殿、张祖殿；西偏院内依次是大斋堂、大厨房院、功德阁、道院。除此之外，还有园林建筑西北园，１９２３年增建另一处园林宛南公园。到了民国后期，南阳玄妙观开始破败。特别是抗日战争期间，日军炸毁了无梁殿、“惠浃中州”牌楼、宛南公园、西北园，斗姥阁也毁于兵火。新中国成立后，南阳玄妙观一直是南阳县政府、县委的所在地，１９９４年，南阳县撤县设区，南阳玄妙观成了宛城区委、区政府所在地。
