１９４１年初，意大利法西斯首领墨索里尼在北非和东非的军队几乎被英国军队消灭，他只好向希特勒求援。虽然希特勒此时正在准备入侵苏联的“巴巴罗萨”计划，并不看中北非战场，但他似乎也掂量出了北非的分量，于是他决定出兵北非，派出了已隆美尔少将为司令官的非洲军。正是在北非战场，隆美尔创造出了自己军事生涯中最为辉煌的一段经历。
隆美尔来到北非后立足未稳就开始了对驻守沙漠地区英军的攻击。英军被打得措手不及被迫向后撤退，英军驻埃及和驻利比亚的两位司令官先后成为他的俘虏，隆美尔从此获得了“沙漠之狐”的绰号。鉴于隆美尔在北非取得了非常好的战绩，希特勒晋升隆美尔军衔的同时将非洲军升格为非洲军团。隆美尔自己并不满足于现在的战绩，他指挥部队继续发展进攻，矛头逐渐对准了英军在北非的重要基地－－托卜鲁克要塞。正是在托卜鲁克，隆美尔创造了自己军事生涯中最重要也是最经典的一个战役－－托卜鲁克战役。
托卜鲁克位于利比亚的东北角，人口虽然只有４０００多人，但它的战略地位却十分重要。托卜鲁克是个很好的港口，如果隆美尔占领它，不但能缴获大批英军作战物资来补充自己日益损耗的非洲军团，而且还取得了一个非常好的进攻落脚点，更缩短了部队的后勤补给线，还能向其它地区继续发动进攻；反之，如果隆美尔不能占领托卜鲁克，将使自己本来就脆弱的后勤补给线再延伸数百公里，这就大大制约了隆美尔向其它地区的进攻。英国人也看到了这一点，他们决心固守托卜鲁克，将隆美尔牢牢的牵制在托卜鲁克，等增援部队一到在合力消灭他。隆美尔也敏锐的感觉到即将到来的危险，于是他决定立即向托卜鲁克发动进攻以其尽快拿下这个重要基地，但是谈何容易？
托卜鲁克的防御工事最初是由意大利人修筑的，分为两道“环形要塞”防线：第一道防线由地下堡垒和深达８.７英尺的反坦克壕沟组成，每个地堡由地下混凝土工事组成，可容纳３８人。堡垒有机枪射孔并安有一定数量的火炮，用来攻击敌方坦克和杀伤步兵，外围设有两道铁丝网，交通暗壕能突然给敌人造成严重伤亡；第二道防线跟第一道防线相距２４９３米，结构与第一道防线大同小异。如果英军丢失托卜鲁克，将很难阻挡隆美尔的攻势，隆美尔将长驱直入锋芒直指苏伊士运河。而一但让隆美尔攻占苏伊士运河，对“大英帝国”来说将是毁灭性的！
１９４１年４月９日，隆美尔命令德国和意大利两国军队组成的非洲军团向托卜鲁克发动进攻，拉开了持续一年之久的托卜鲁克拉锯战大幕，但由于双方协同作战不是很默契，首次进攻失败。４月１０日，隆美尔再度发动攻势，这天的战斗非常激烈，但截止到天黑战斗结束，隆美尔仍未取得进展；而且还有坏消息传来：第１５装甲师师长普里特维茨将军中弹身亡。从４月１１日到４月２７日，隆美尔指挥部队继续对托卜鲁克发动攻势，除了损兵折将依旧没什么进展。在此期间，由于意大利军队的懦弱曾一度导致隆美尔的后勤运输线出现危机，幸好他及时采取了果断的反击稳住了局面。但隆美尔对意大利人的表现显然大为不满，他曾和别人说道“要那些没用的‘饭桶’干什么？”。４月３０日－５月４日，隆美尔又指挥军队向托卜鲁克外围发起猛烈攻势，主攻目标是由澳大利亚军队负责防守的２０９高地。这场战斗异常惨烈，双方都付出了巨大伤亡，战斗最激烈时，隆美尔甚至亲临前线指挥战斗但也未能取得突破。直到５月４日，隆美尔才彻底占领２０９高地。但此时隆美尔的后勤补给却出现了严重困难。北非沙漠作战不同于其它战场上的作战，这不仅仅要看交战双方指挥官战略战术素养是否适合变换莫测的战场，部队官兵是否具有常人难以忍受的意志；而最重要的是看交战双方的后勤补给能否及时送到作战部队手中，从而保障前线作战部队能迅速推进，取得更大的战果。对于交战双方人员来讲，北非沙漠的炎热气候是对后勤补给的最大考验，尤其是水、粮食、油料和弹药显得极为宝贵。由于隆美尔未能及时攻下托卜鲁克，导致自己的后勤补给运输线绵延达几百公里；而运到后方补给站的物资通常要依赖船舶通过不平静的地中海运到北非，这期间要经过英军占领的马耳他岛，这个小岛扼守着地中海航线上的突尼斯海峡，从那里起飞的英军飞机对给隆美尔运输物资的轴心国船队造成很大威胁。轴心国船队运送给隆美尔的大部分作战物资都被打入海底，小部分物资运送至利比亚首都的黎波里，然后在通过漫长的补给线运到前线部队手里，而运输途中还可能会遭到英军飞机的扫射轰炸和英军小部队的破坏骚扰，真正送到隆美尔手里的作战物资少得可怜，这严重制约了隆美尔的作战行动。比较来说，墨索里尼对非洲事物非常熟悉，他向希特勒建议先攻占马耳他岛然后在考虑进军苏伊士的行动；德国陆军中的一些高级将领也指出：在没攻占马耳他岛以前就去进攻苏伊士，是有勇无谋的冒险！但希特勒一向喜欢好大喜功，他向墨索里尼施加压力要他无条件支持隆美尔。而隆美尔本人也不太重视后勤补给，这一点在法国战役中已经有了表现，上述原因造成了隆美尔最后“成功于北非、失败于北非”的凄凉命运。
隆美尔来到北非后进行的第一场沙漠风暴就这样无情的被托卜鲁克给挡住了，如果上述问题解决的很好，恐怕隆美尔早在１９４１年６月就攻占托卜鲁克了。
隆美尔在托卜鲁克受阻给了英国人反击的机会。他们重新进行兵力部署调整，准备一口吃掉隆美尔。但隆美尔已有所准备，当英国人反起反击时，他及时指挥部队击退了英军的进攻。鉴于英军反复进攻企图用“消耗战”来慢慢耗干隆美尔仅有的一点可怜物资，他不断要求德军统帅部赶快增援物资，但大部分物资仍是沉入大海。在不能让他满意的情况下，他对手里的物资只好“省着用”。英军虽然也遭受到很大损失，但却能及时补充。１９４１年６月１５日，英军发动大规模反击企图消灭隆美尔的部队。但隆美尔凭借他那高超的指挥艺术和部队官兵的顽强战斗，竟使英军这次反击以损失惨重而结束。
１９４１年６月２２日，希特勒的法西斯军队对苏联发动突然进攻，或许是十分高兴的原因，希特勒晋升隆美尔为陆军上将，这一年隆美尔５０岁。不过从１９４１年６月２２日－１１月底北非战场出现了少有的静悄悄局面，越是静悄悄就越预示着更大的风暴即将来临。德军统帅部给隆美尔运来部队和作战物资，隆美尔在准备着发动一场更大的进攻，但英国人却比他先走一步。
在一切准备就绪后，１９４１年１１月１８日（隆美尔计划发起进攻的时间是１１月２０日），英军第８集团军发起了旨在消灭隆美尔部队的“十字军风暴”的进攻。当时隆美尔正指挥部队在围困托卜鲁克，当他得知英军的攻势后，便下令停止围困，率非洲军团主力迎击英军第８集团军。这场战斗进行得十分激烈，双方都付出了很大伤亡，时间持续了两个多月。经过一系列的恶战，隆美尔的部队被逐出作战地区，托卜鲁克解围了。但是，英国人的高兴劲没持续多长时间，两个月之后，１９４２年１月２１日，隆美尔再次卷土重来，他用自己高超的指挥再次向世人证明自己无愧于“沙漠之狐”的绰号，自己才是沙漠战的高手。由于隆美尔指挥的非洲军团进展迅速，英军被打得损兵折将步步后撤，不仅丢失了“十字军风暴”的成果，而且使托卜鲁克再次被包围。
隆美尔这次包围托卜鲁克的时机非常好。首先，德军在苏联战场取得重大胜利，苏军的攻势严重失利损失惨重；其次，德军飞机成功压制住了马耳他岛的英军，使得轴心国通过海上运输的物资非常顺利送到隆美尔的部队手里，有了这些最新注入的“血液”，隆美尔的进攻魄力更足了，他决心洗刷前耻最终攻占托卜鲁克。英国人已经感觉到隆美尔这次要发动的进攻来势凶猛，所以他们进一步加强了托卜鲁克的防御工事，布置反坦克壕沟，设置雷区埋设地雷，埋设的地雷总数竟达１００万颗！他们还部署了强大的预备队，大部分是装甲部队以备急用。
１９４２年５月２６日，随着隆美尔一声令下，非洲军团重新发动攻势，由于到达战术突然性，英军判断出现迟误，但隆美尔未能抓住战机扩大战果。直到６月１日，才攻克一处英军据点，他继续发展进攻。他的这次进攻与上次不同，这次进攻非洲军团所到之处摧枯拉朽锐不可挡。６月１７日，隆美尔彻底包围了一年前使他损失惨重但未能攻占的托卜鲁克要塞。这回，隆美尔围攻托卜鲁克要塞的计划是：一部兵力实施佯攻，吸引要塞守军的注意力；主力借助黑夜掩护完成攻击部署，以突然攻击攻占托卜鲁克要塞。
１９４２年６月２０日凌晨５点多钟，德军飞机首先猛烈轰炸托卜鲁克守军的重要目标，轰炸停止步兵立即快速发起冲锋。英军本来有机会重创隆美尔的步兵，但他们的火炮直到德军发起进攻１小时后才开炮，德军的攻势已不可阻挡。由于英军此时已陷入一片慌乱之中，分散的抵抗根本不能组织要塞最终的陷落。有几艘英军船只想撤走，但是被隆美尔发现并用炮火击沉，英军的海上退路被基本切断。截止到天快黑时，托卜鲁克要塞的９０％被隆美尔指挥的非洲军团占领。隆美尔得知这个消息兴奋不已，他跟别人说：“我为我的士兵不怕伤亡进展这么迅速而感到自豪！”。
英军本来有最后的突围机会，但却被军官们的犹豫不决给耽误了。１９４２年６月２１日，英军宣布投降，３．３万名英国守军和英联邦士兵成为俘虏，托卜鲁克要塞里堆积如山的物资被隆美尔缴获，这大大充实了极度损耗的非洲军团。隆美尔在托卜鲁克城里接受了英军的投降，他给希特勒发电报，告诉他“我已攻占托卜鲁克要塞！”。隆美尔鼓励手下的士兵，他说道：“在这么长时间的残酷战斗中，你们无愧于元首的军队，无愧于德意志民族的骄傲！我为你们而感到光荣！希望你们在今后的战斗中继续发扬日尔曼人的坚强意志，直到取得最后的胜利！”。
隆美尔攻占托卜鲁克的消息传到德国国内，全国上下一片沸腾。感谢语、祝贺信向雪片似的飞向隆美尔的家里，他的夫人快招架不住了。６月２２日，德国一座新落成的大桥以隆美尔的名字命名，接连几天，德国各地的电影院几乎天天播放军事记录片《隆美尔上将在托卜鲁克》，几乎全德国人把隆美尔当成了自己的偶像。纳粹元首希特勒决定给予隆美尔更高的奖赏－－晋升隆美尔为德国陆军元帅。能够成为一名十分光荣的元帅，这是每一名士兵最高的愿望。而一但成为一名元帅，意味着本人永远也不会退休，可以享受军队的高福利、高津贴以及其他方面的一般人很难享受到的优厚待遇。
６月２２日下午，当隆美尔得知自己已被晋升为陆军元帅时，他简直不敢相信自己的耳朵。他在给自己妻子的信中说：“我感觉我这是在做梦啊……”。
埃尔温·隆美尔被晋升为德国陆军元帅时年仅５１岁，这使他成为当时德国陆军中非常年轻的一位陆军元帅。