Во время Великой Отечественной войны входил в состав Ставки Верховного главнокомандования. В июле – сентябре 1941 главнокомандующий войсками Юго-Западного направления. В сентябре-октябре 1941 командовал Резервным фронтом, в апреле-мае 1942 главнокомандующий Северо-Кавказским направлением, в мае – августе 1942 командующий Северо-Кавказским фронтом. На всех постах Буденный проявил отсутствие талантов полководца и неумение приспособиться к новой, изменившейся стратегии войны. В 1942 был окончательно отстранен Сталиным от командных должностей и больше никогда их не получал. В 1943 Буденный был назначен на почетный, но формальный пост командующего кавалерией РККА и члена Высшего военного совета Наркомата обороны СССР.
После войны в 1947–1953 одновременно был заместителем министра сельского хозяйства СССР по коневодству. В 1952 окончательно потерял благоволение Сталина и из членов ЦК был понижен до кандидата в члены ЦК КПСС. В 1954 был уволен в почетную отставку – назначен в состав Группы генеральных инспекторов Министерства обороны СССР.
Умер Буденный в Москве 26 октября 1973, похоронен на Красной площади.