Гитлеровцы неоднократно пытались склонить Карбышева к измене, но он отказался перейти на службу к фашистам. В немецких концентрационных лагерях Замостье, Хаммельбург, Флоссенбург, Майданек, Освенцим, Заксенхаузен генерал, которому уже было за 60, был одним из руководителей подполья, не сдавался сам и вдохновлял не сдаваться своих товарищей по несчастью, среди которых были и иностранцы.

В ночь на 18 февраля 1945 года в концлагере Маутхаузен (Австрия) в числе других заключённых (около 500 человек) Дмитрий Михайлович Карбышев был облит водой на морозе и погиб.

Указом Президиума Верховного Совета СССР от 16 августа 1946 года Карбышеву Дмитрию Михайловичу присвоено звание Героя Советского Союза (посмертно).