Родился 13 сентября 1942 года в селе Лещаное Воронежской области. Окончил Воронежский политехнический институт.

Трудовую деятельность начал на Воронежском экскаваторном заводе им.Коминтерна, где прошел путь от простого рабочего до начальника отдела. В конце 80-х годов приглашен на должность заместителя директора завода тяжелых механических прессов (ТМП). В 1989 году был избран трудовым коллективом директором завода ТМП.

В 1990 году на первых в России свободных выборах А.Ковалев был избран народным депутатом РСФСР. В августе 1991 года его избирают депутатом Воронежского городского Совета народных депутатов и председателем Воронежского горисполкома. В апреле 1992 года Указом Президента России А.Ковалев был назначен главой администрации Воронежской области.

В 1996-1998 годах А.Ковалев - полномочный представитель Президента РФ в Республике Северная Осетия-Алания и Республике Ингушетия, а с 1999 по 2000 год - Торговый представитель России на Украине. В декабре 2000 года воронежцы на выборах высказались за возращение А.Ковалев в Воронеж в качестве главы города.