Wie sein Vater, ein preußischer General, trat auch er in jungen Jahren in die Armee ein. Mit der kaiserlichen Armee, der er 1908 beitrat, erlebte er den Ersten Weltkrieg. Um der Grausamkeit des statischen Stellungskrieges zu entgehen, dachte er über Taktiken nach, die in zukünftigen Kriegen eingesetzt werden könnten. Nach dem Krieg arbeitete er an motorisierten Nachschubeinheiten und entwickelte in den folgenden Jahren die Panzertruppe. Mit den von ihm entwickelten Blitzkrieg-Taktiken und den von ihm aufgestellten Panzerdivisionen erzielte er große Erfolge.

Jeder nannte ihn „Schneller Heinz“, und seine Panzertruppen wurden als „Guderians Panzer“ bezeichnet. 1938 schrieb er sein berühmtes Buch Achtung – Panzer! Im selben Jahr wurde er zum Inspekteur der Panzertruppe ernannt. 1941 war er mit der von ihm befehligten 4. Panzerarmee derjenige, der Moskau am nächsten kam. Er widersprach Hitlers Entscheidung vom Sommer 1941, den Schwerpunkt der Offensive auf Kiew und Leningrad zu verlagern, und forderte stattdessen eine sofortige Einnahme Moskaus. Dies führte zu Spannungen zwischen ihm und Hitler. Obwohl sich seine Einschätzung als richtig erwies, konnte ihn das nicht retten, und am 25. Oktober 1941 wurde er seines Kommandos enthoben.

Als Hitler erkannte, dass sich die Lage verschlechterte, ernannte er Guderian im Februar 1943 zum Generalinspekteur der Panzertruppen und beauftragte ihn mit der Neuorganisation der Panzerarmeen. Nach dem Attentatsversuch von 1944 ersetzte Hitler Zeitzler durch Guderian als Chef des Generalstabs. Doch Guderians Bemühungen konnten den Krieg nicht mehr wenden – es war bereits zu spät. Er blieb bis zum 21. März 1945 im Amt. Guderian besaß ein außergewöhnliches militärisches Genie, kannte seine Soldaten genau und wusste, was er von ihnen verlangen konnte. Sein technisches Wissen war umfassend, und an der Front war er ein brillanter Befehlshaber.

Historiker betrachten ihn als den größten Kommandeur Nazi-Deutschlands.