卫玄字文升,河南洛阳人。祖父卫悦,魏时任司农卿。父卫,官侍中,左武卫大将军。
卫玄幼时有器量见识,周武帝为藩王时,引荐卫玄为记室。升任给事上士,袭爵为兴势公。周武帝即位,任命卫玄为益州总管长史,赐给他万钉宝带。不久,升任开府仪同三司、太府中大夫,摄领内史事,兼任京兆尹,时人称其强力贯通天下。
隋文帝作丞相,卫玄任检校熊州事。隋文帝受禅继位,卫玄升任淮州总管,晋封同轨郡公,因受牵连免官。不久,任岚州刺史。适逢又起修筑长城之役,诏令卫玄监督修筑长城。后来改任卫尉少卿。仁寿初年wwW.7gushi.com,山獠叛乱,任命卫玄为资州刺史前往镇压安抚。卫玄到任之后,山獠正围攻大牢镇,卫玄单人独骑到山獠营地,对众獠人说:“我是资州刺史,奉天子诏令安抚养育你们,你们不要惊怕。”众獠人没有人敢动。于是,卫玄向他们陈述利害,獠人主帅受到感动,十多万人缴械投降。文帝非常高兴,赐给卫玄细绢二千匹,升任遂州总管,仍令为剑南安抚使。
隋炀帝即位,又征召入京为卫尉卿。夷獠之人怀恋卫玄,相送之人几百里内不断。分别的时候,都是挥泪而去。升任工部尚书。后来任魏郡太守,仍兼任工部尚书。不久,任右侯卫大将军,检校左侯卫事。改任刑部尚书。辽东之战时,卫玄任检校右御卫大将军,率兵由增地道而出。当时各路兵马多有不利,只有卫玄全师而还。授任金紫光禄大夫。
大业九年(613),炀帝驾幸辽东,令卫玄和代王杨侑留守京师,任命卫玄为京兆内史,仍兼任刑部尚书,允许他遇事不便上奏,自行裁处决断,敕令代王以对待师傅的礼节对待卫玄。适逢杨玄感围困东都洛阳,卫玄率领步兵骑兵七万人增援。到了华阴,发掘杨素墓冢,焚烧其尸骸遗骨,将其祖茔铲平,向士卒显示必死的决心。兵出潼关之后,有人担心崤山和函谷关之处有伏兵,请求从陕县顺流而下,直奔河阳,攻击杨玄感的后方。卫玄说:“这种计谋不是小子所能想到的。”于是就击鼓前进。过了函谷关之后,终于像他猜测的那样。卫玄就派遣武贲郎将张峻从南路进发作为疑兵,自己则亲率大军直奔城北。杨玄感率兵迎战。卫玄一边战一边行,大军在金谷驻扎下来。卫玄在军中清扫一片场地,祭祀文帝说:“如果社稷长久,应该让杨玄感这些丑类像冰块一样破碎;如果隋朝大势已去,就请让老臣先死吧!”词气激昂,三军将士莫不流涕呜咽。当时,卫玄寡不敌众,与贼兵频频作战都不利,士卒死伤大半。卫玄率兵苦战,贼兵才稍稍退却,大军进屯于北芒。适逢宇文述、来护儿等援兵赶到,杨玄感向西逃遁。卫玄派遣通议大夫斛斯万善、监门直阁庞玉为先锋追击,赶到阌乡,与宇文述等合兵击败叛军。炀帝车驾到高阳,征召卫玄到其所在的地方。炀帝慰劳卫玄说:“公真是社稷之臣啊!使朕得以没有西顾之忧。”晋升卫玄为右光禄大夫,赐给他良田、宅第,财物数万。卫玄回去镇守京师,炀帝对他说:“函谷关以西全部委托给公了。公安然无恙,国家就安然无恙;公有危险,国家也就危险了。公出入必须有兵士保卫,坐卧应该经常自我安稳。如今特意给公一千名士兵,充当侍卫随从。”和樊子盖一起,都赐给玉麒麟符节,因用以代替铜兽符节。
大业十一年,诏令卫玄安抚关中。当时,关中盗贼蜂起,百姓饥饿至死,卫玄竟然不能赈济抚恤。而官方败坏纷乱,贿赂公行。卫玄认为自己年纪已高,上表乞求告老还乡。炀帝派遣内史舍人封德彝驰往京师,告诉他说:“京师是国家的根本,是宗庙园陵的所在地,借助公卧居以镇守之。”卫玄才作罢。义师进入关中,卫玄自知不能守御,忧愁恐惧,自称有病,不理政事。京城陷落,卫玄归居家中,隋恭帝义宁中卒。