悲惨童年
卫青的母亲被称为卫媪（卫媪是否为其夫家姓存在争议）。与其夫生有一男三女：长子（卫长君）即卫长子，长女卫孺（《汉书》作卫君孺，《史记》作卫孺）、次女卫少儿、三女卫子夫。后卫媪与来平阳侯家中做事的县吏郑季私通，生了卫青。因生活艰苦，卫青被送到亲生父亲郑季的家里。但郑季却让卫青放羊，郑家的儿子也没把卫青看成兄弟，当成奴仆畜生一样。卫青稍大一点后，不愿再受郑家的奴役，便回到母亲身边，做了平阳公主的骑奴。
有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“这是贵人的面相啊，官至封侯。”卫青笑道：“我身为人奴之子，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”
因祸得福
建元二年（前139年）春，卫青的三姐卫子夫被灞上扫墓做客平阳府的汉武帝看中。
建元三年（公元前138年），入宫后被冷落了一年多的卫子夫再次获幸有了身孕，引起了陈皇后的嫉妒。其母馆陶公主派人捉了正在建章（后为建章宫）当差的卫青，意图杀害。同僚公孙敖听到消息后率人赶去救下卫青。汉武帝得知此事，大为愤怒，立刻任命卫青为建章监、侍中，封卫子夫为夫人，卫长君为侍中。数日间连续赏赐卫青，多达千金。卫孺嫁给了太仆公孙贺，卫少儿嫁给了陈平的后人詹事陈掌。公孙敖也因此显贵。卫青后又被任命为太中大夫，俸禄千石，掌管朝政议论。
公元前138年到前129年近十年间，卫青作为建章监和侍中，跟随皇帝左右，和他一起听闻朝政，后又成为太中大夫，足见其才干深得武帝信任，为后来七征匈奴，甚至任大司马大将军为内朝参决政事、秉掌枢机打下良好基础。
初伐匈奴
元光五年（公元前130年）或元光六年（公元前129年），匈奴兴兵南下直指上谷（今河北省怀来县）。汉武帝任命卫青为车骑将军，率领一万骑兵，迎击匈奴。汉武帝分派四路出击。车骑将军卫青出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带），轻车将军公孙贺从云中（今内蒙古托克托东北），骁骑将军李广从雁门出兵。四路将领各率一万骑兵。
卫青首征，果敢冷静，深入险境，直捣匈奴祭天圣地龙城，首虏700人，取得胜利。另外三路，两路失败，一路无功而还。汉武帝看到只有卫青胜利凯旋，封卫青为关内侯。龙城之战是自汉初以来对战匈奴的首次胜利，为以后汉朝的进一步反击打下了良好的人心基础。
元朔元年（公元前128年）秋，卫青为车骑将军出雁门，领三万骑兵，长驱而进斩首虏数千人。
元朔二年（公元前127年），匈奴大举入侵上谷、渔阳，先攻破辽西，杀死辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。武帝派李息从代郡出击，卫青率大军进攻匈奴盘踞的河南地（黄河河套地区），采用“迂回侧击”的战术，西绕到匈奴军的后方，迅速攻占高阙（今内蒙古杭锦后旗），切断了驻守河南地的匈奴白羊王、楼烦王同单于王庭的联系。
而后，卫青又率精骑，飞兵南下，进到陇县西，形成了对白羊王、楼烦王的包围。汉军活捉敌兵数千人，夺取牲畜数百万之多，控制了河套地区。因这一带水草肥美，形势险要，武帝在此修筑朔方城，设朔方郡、五原郡，从内地迁徙十万人到那里定居，还修复了秦时蒙恬所筑的边塞和沿河的防御工事。解除了匈奴骑兵对长安的直接威胁，也建立起了进一步反击匈奴的前方基地。
此仗汉军全甲兵而还，卫青立有大功，被封为长平侯，食邑3800户。苏建、张次公以校尉从卫将军有功，封平陵侯、岸头侯。
再次北上
元朔三年（公元前126年）夏，数万骑兵攻代郡，杀太守共友，掳掠千余人。同年秋季入雁门，杀掠千余人。元朔四年（前125年）匈奴又使各三万骑攻入代郡、定襄、上郡。
元朔五年（公元前124）春，朝廷命令车骑将军卫青率领三万骑兵，从高阙出兵；命令卫尉苏建做游击将军，左内史李沮当强弩将军，太仆公孙贺当骑将军，代国之相李蔡当轻车将军，他们都隶属车骑将军卫青，一同从朔方出兵；朝廷又命令大行李息、岸头侯张次公为将军，从右北平出兵。他们全都去攻打匈奴。
匈奴右贤王正对着卫青等人的大兵，以为汉朝军队不能到达这里，便喝起酒来。晚上，汉军来到，包围了右贤王；右贤王大惊，连夜逃跑，独自同他的一个爱妾和几百个精壮的骑兵，急驰突围，向北而去。轻骑校尉郭成等追赶了几百里，没有追上。汉军俘虏右贤王的小王十余人，男女1.5万余人，牲畜达千百万头。
汉武帝接到战报，派特使捧着印信，到军中拜卫青为大将军，加封食邑6000户（汉书8700户），所有将领归他指挥。卫青的三个儿子被汉武帝封为列侯。长子卫伉为宜春侯，次子卫不疑为阴安侯，幼子卫登为发干侯，均食邑1300户。汉武帝随后又封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎奴、李沮、李息、豆如意等。
元朔六年（公元前123年）春、夏，卫青为大将军两次领十万骑兵出击匈奴。歼灭匈奴军过万。二月，以公孙敖为中将军，公孙贺为左将军，赵信为前将军，苏建为右将军，李广为后将军，李沮为强弩将军，分领六路大军，统归大将军卫青指挥，浩浩荡荡，从定襄出发，北进数百里。战后全军返回定襄休整，一个月后再次出塞，斩获匈奴军一万多人。张骞随从大将军出征，获封张骞为博望侯。卫青的外甥霍去病此战独自领八百骑出击，俘虏匈奴单于的叔父和国相，斩单于的祖父等2028人，封冠军侯。大将军赏千金不益封。
远征漠北
元狩四年（公元前119年）春，汉武帝以十四万匹战马及五十万步卒作为后勤补给兵团，授与卫青与霍去病各率领五万骑兵，步兵和运输物资的军队十万余，兵分两路，跨漠长征出击匈奴。
汉军原计划由霍去病先选精兵攻击单于主力，卫青打击左贤王。后从俘获的匈奴兵口中得知伊稚斜单于在东方，两军对调出塞线路，霍去病东出代郡，卫青西出定襄。
而卫青大军出塞一千多里，却与匈奴单于主力遭遇。卫青命前将军李广和右将军赵食其两军合并，从右翼进行包抄。自率左将军公孙贺、后将军曹襄从正面对抗单于主力。卫青下令让武刚车排成环形营垒，又命五千骑兵纵马奔驰，抵挡匈奴。匈奴也有大约一万骑兵奔驰而来。恰巧太阳将落，刮起大风，沙石打在人们的脸上，两军都无法看见对方，汉军又命左右两翼急驰向前，包抄单于。
单于看到汉朝军队很多，而且战士和战马还很强大，若是交战，对匈奴不利。因此，在傍晚时单于就乘着六头骡子拉的车子，同大约几百名壮健的骑兵，径直冲开汉军包围圈，向西北奔驰而去。这时，天已黄昏，汉朝军队和匈奴人相互扭打，杀伤人数大致相同。汉军左校尉捕到匈奴俘虏，说单于在天未黑时已离去，于是汉军派出轻骑兵连夜追击，大将军的军队也跟随其后。匈奴的兵士四散奔逃。
直到天快亮时，汉军已行走二百余里，未追到单于，俘获和斩杀敌兵一万九千余人，到达了窴颜山赵信城，获得匈奴积存的粮食以供军队食用。汉军留住一日而回，把城中剩余的粮食全部烧掉才归来。大军回营时才遇到迷路失期未来支援的李广赵食其部。
漠北之战击溃了匈奴在漠南的主力，逐渐向西北迁徙，十几年内再无南下之力。而汉军损失也很大，出征的14万马匹仅三万余匹返回。汉军士兵、马匹损失十几万，兵器甲仗等物水陆运输的费用还都不计算在内，于是倾尽库藏钱和赋税收入仍不足以供给战士的费用。汉武帝设置武功爵，以筹集军费。
封邑万户
汉武帝为表彰卫青、霍去病的战功，特加封他们为大司马，得以管理日常的军事行政事务，以代太尉之职。
卫青受封长平侯，后又经两次益封，按《史记》记载其所得封邑总共有一万六千七百户，《汉书》则有为二万二百户和三万户的不同记载。
病逝追封
元封五年（前106年），卫青病逝，汉武帝为纪念他的彪炳战功，在茂陵东北修建了一座阴山形状的墓冢，“起冢象庐山”。谥号为“烈”，取《谥法》“以武立功，秉德尊业曰烈”之意。卫青薨后，汉武帝因文武名臣欲尽下求贤诏。
