W 1972 roku założył swój pierwszy zespół – The Jam. Grał w niej na gitarze basowej. W skład grupy wchodzili także jego przyjaciele – grający na gitarze prowadzącej Steve Brookes i gitarzysta rytmiczny Dave Waller. Wkrótce do zespołu dołączył perkusista Rick Buckler, a Bruce Foxton zastąpił Wallera. Formacja wykonywała wtedy mieszankę utworów grupy The Beatles oraz kompozycje Wellera i Brookesa. W 1976 roku zespół opuścił Brookes, Weller, (który został także wokalistą) i Foxton zamienili się rolami.
The Jam działając w erze punk rocka, bardziej pasowali jednak do stylu new wave, który nadszedł nieco później. Ich utwory całkiem nieźle radziły sobie na listach przebojów: pierwszy singiel zatytułowany „In The City” znalazł się na liście UK Top 40, a piosenka „The Eton Rifles” z politycznie zaangażowanym tekstem Wellera dotarła do 3. miejsca. W 1980 roku po raz pierwszy wspięli się na szczyt notowania z utworem „Going Underground”, a Weller został nazwany „głosem pokolenia”. Zespół stał się jedną z największych gwiazd brytyjskiej sceny muzycznej. Jako pierwsi od czasu Beatlesów dostąpili zaszczytu wykonania dwóch utworów w programie Top of the Pops. Udało im się także zamieścić na liście najlepiej sprzedających się singli w Wielkiej Brytanii utwór „That's Entertainment”, pomimo tego, że singiel nie był wydany na Wyspach (osiągnęli to dzięki dużej ilości Brytyjczyków kupujących importowane płyty z innych części świata).
W późniejszym okresie działalności grupy Weller zaczął pisać bardziej melodyjne utwory, odbiegające nieco stylistyką od wczesnych nagrań zespołu. Dlatego w 1982 roku postanowił rozwiązać formację, aby później już w innym składzie eksplorować nowe gatunki muzyczne. Ich ostatni singiel „Beat Surrender” jako czwarty osiągnął szczyt list przebojów, a bilety na pożegnalne koncerty na Wembley zostały wyprzedane w ekspresowym tempie.
W 1983 roku Weller wraz z klawiszowcem Mickiem Talbotem, perkusistą Stevem Whitem i wokalistką Dee C. Lee powołał do życia nową grupę – The Style Council. Zespół nie ograniczał się do jednego gatunku muzycznego, mieszając pop z jazzem, R&B, soulem oraz balladami folkowymi. Styl zespołu miał wielki wpływ na takich wykonawców jak Matt Bianco, Sade czy Everything But The Girl.
Z początku na koncerty zespołu przychodzili głównie fani The Jam, jednak wkrótce grupa zaczęła zdobywać rzesze nowych słuchaczy. Nagrania takie jak „My Ever Changing Moods” czy „You’re The Best Thing” świetnie radziły sobie na listach przebojów.
W 1984 roku Weller wystąpił w nagraniu utworu „Do They Know It’s Christmas” stworzonego przez Band Aid oraz pojawił się z The Style Council podczas koncertu Live Aid na Wembley w 1985 roku. W grudniu 1984 roku Weller postanowił wspomóc strajkujących górników nagrywając utwór „Soul Deep” wspólnie z wieloma innymi muzykami.
Od 1985 roku popularność zespołu zaczęła spadać. Żaden singiel nie dotarł nawet do pierwszej dwudziestki list przebojów. W 1989 roku wytwórnia odmówiła wydania ich piątego i ostatniego albumu „Modernism: A New Decade”, wskutek czego Weller postanowił rozwiązać grupę. Dopiero w 1998 roku ukazał się box „The Complete Adventures of the Style Council”.
Po rozwiązaniu zespołu Weller postanowił odpocząć od muzyki. Dopiero w 1991 roku ruszył w trasę wraz z perkusistą Stevem Whitem jako The Paul Weller Movement. Wykonywali wtedy utwory The Jam i The Style Council. Rok później ukazał się pierwszy solowy album muzyka, zatytułowany „Paul Weller”, dzięki któremu artysta znów zaczął odradzać się jako jeden z czołowych wykonawców na Wyspach. Brzmienie płyty opierało się na jazzującej gitarze, ze sporą ilością sampli i wyraźnym wpływem stylu funk. Mimo sukcesu, jaki niewątpliwie odniósł krążek – artysta wszedł ponownie do studia dopiero dwa lata później, wspólnie z Stevem Whitem, Stevem Cradockiem oraz Damonem Minchellą. Z tego jammowania wyszedł album – „Wild Wood” – według zgodnej opinii fanów i krytyków – jeden z najlepszych dokonań Wellera.
W 1995 roku wrócił na brytyjskie listy przebojów longplayem „Stanley Road”, który okazał się najlepiej sprzedającym się wydawnictwem w całej karierze artysty. Był powrotem do bardziej gitarowego brzmienia, znanego z początków jego kariery. Świetnie utrafił w tak zwany brit pop, reprezentowany przez Oasis, Blur czy Pulp. Pojawił się zresztą jako wokal wspomagający i gitarzysta w utworze Oasis – „Champagne Supernova”. Największy sukces z krążka odniosły dwa single - „The Changingman” oraz ballada „You Do Something To Me”, które dotarły odpowiednio do 7. oraz 9. miejsca zestawienia singli w Wielkiej Brytanii.
Następnym wydawnictwem – „Heavy Soul” gitarzysta powtórzył sukces poprzedniej płyty. Promował ją występami na żywo tak często, jak tylko mógł. Hard rockowy utwór - „Peacock Suit” okazał się najmocniejszym strzałem promocyjnym – zaliczył 5. miejsce w brytyjskim zestawieniu singli.
W 1998 roku wydał kompilację „Best Of” podsumowującą dotychczasowe sukcesy.
Dwa lata później pojawił się jego piąty solowy album, „Heliocentric”, a w 2002 roku kolejny „Illumination”. Pomiędzy nimi, artysta zarejestrował koncert wydany jako „Days Of Speed” (2001).
W 2003 roku, w duecie z Death in Vegas, nagrał cover utworu Gene’a Clarka – „So You Say You Lost Your Baby”. Kontynuując ten trend – rok później wydał cały album z przeróbkami zatytułowany – „Studio 150”. Zawierał między innymi – klasyk Boba Dylana – „All Along the Watchtower”, utwór Sister Sledge – „Thinking Of You” czy nieśmiertelną kompozycję The Beatles – „Come Together”.
Kolejne wydawnictwo artysty – „As Is Now” (2005) również zebrało dobre recenzje. Promowały je trzy single – „From The Floorboards Up”, “Come On/Let's Go” oraz “Here's The Good News”. W lutym następnego roku Weller otrzymał Birt Awards, a podczas ceremonii wręczenia wykonał aż cztery utwory swojego autorstwa. W tym samym roku zdążył wydać jeszcze dwa albumy – podwójny live – „Catch-Flame!” oraz „Hit Parade”.
Nawiązując do sukcesu dwupłytowego wydawnictwa – w 2008 roku nagrał podwójny album „22 Dreams”, który promował singiel „Echoes Round The Sun”. Pod koniec roku wyszedł specjalny box - „Weller at the BBC”, wydany na 4 płytach CD, z wieloma bonusowymi utworami oraz z towarzyszącym mu DVD.
The Jam • The Beatles • The Who • Small Faces • Sade • Everything But The Girl • Band Aid • Oasis • Blur • Bob Dylan • Sister Sledge • Amy Macdonald