W 1959 roku założył swój pierwszy zespół, Alex Harvey's Soul Band, który jednak nie osiągnął na scenie muzycznej zbyt wielkich sukcesów. Więcej szczęścia przyniosło artyście przyłączenie się do obsady musicalu „Hair” wystawianego na scenie londyńskiego teatru. Ekipa nagrała płytę „Hair Rave Up” zawierającą wykonywane na żywo utwory z przedstawienia, a także inne piosenki śpiewane przez Alexa.
W 1970 roku Harvey ponownie zabrał się za tworzenie grupy, tym razem z Ray’em Russelem. Nazwali ją Rock Workshop. Wkrótce powstał kolejny zespół, Tear Gas, który stał się podstawą do stworzenia najważniejszej w karierze Alexa formacji -Sensational Alex Harvey Band (zwanej w skrócie SAHB).
Zespół powstał w 1972 roku na kanwie właśnie Tear Gas, a w jego skład weszli (poza Harvey’em) byli członkowie tamtej grupy: Zal Cleminson (gitara), Chris Glen (basista) oraz kuzyni Ted i Hugh McKenna (klawisze, perkusja). To z nimi osiągnął pierwszy w swoim życiu tak znaczący sukces zarówno muzyczny, jak i komercyjny – ich albumy sprzedawały się w rekordowych ilościach, zbierając jednocześnie bardzo dobre recenzje u krytyków. Tworzona przez kapelę muzyka, z początku zbliżona do glam-rocka, szybko zyskała wyjątkowość, gdy Alex dodał do niej elementy folku, jazzu oraz bluesa. Hitami stały się takie utwory jak cover piosenki „Delilah” Toma Jonesa z 1968 roku oraz ich własna kompozycja, „The Boston Tea Party", przebój roku 1976.
W tym samym czasie artysta podjął decyzję o opuszczeniu zespołu, ale grupa postanowiła kontynuować działalność bez niego jako „Sensational Alex Harvey Band… bez Alexa Harveya”.
4 lutego 1982 wracając z Belgii z koncertu swojej kolejnej formaci, Electric Cowboys, dostał poważnego ataku serca. W ambulansie wiozącym go do szpitala atak się powtórzył, tym razem jednak miał o wiele bardziej fatalne skutki - muzyk zmarł w przeddzień swoich 47 urodzin.
Mimo swojej śmierci nie został zapomniany - w 2002 roku ukazała się jego biografia pióra Johna Neila Munro pod tytułem „The Sensational Alex Harvey”. Muzyka nazywa się do dziś „Królem kowbojów” albo „Ostatnim idolem nastolatków”, cytując słowa jednej z jego piosenek.
Ku czci muzyka powstał nawet specjalny zespół, Vambo Rools, składający się z tworzących z nim niegdyś artystów.
The Sensational Alex Harvey Band została okrzyknięta piątą najlepszą kapelą country w dziejach Szkocji. Zespół wciąż działa bez swojego lidera odnosząc sukcesy, lecz już nie tak wielkie, jak za życia Alexa Harvey’a.