
Z czasem skład grupy się powiększył, a Duke został jej liderem. Pierwszym poważnym nagraniem był utwór "East St. Louis Toodle-oo", który zespół nagrał dla Vocalion Records pod koniec 1926 roku. To właśnie ta piosenka stała się pierwszym singlem, który dostał się na listy przebojów rok później - po nagraniu drugiej wersji dla wytwórni Columbia.
Jeszcze w tym samym roku zespół przeniósł się do Cotton Clubu na Harlemie. Tam przez trzy lata grania zyskali tak wielką popularność, że głośno było o nich w całych Stanach Zjednoczonych. Rok 1928 to kolejne nagrania - "Black and Tan Fantasy" / "Creole Love Call" i "Doin’ The New Low Down" / "Digga Digga Doo". Kilka miesięcy później wyszedł "The Mooche", który wskakiwał na szczyty list przebojów.
Następnie zespół opuścił Cotton Club, by wyjechać w trasę koncertową, która trwała aż do końca życia Ellingtona. Artyści wciąż jednak pracowali nad nowym materiałem. Zimą 1932 roku utwór Ellingtona "It Don’t Mean a Thing (If It Ain’t Got That Swing)" znalazł się w pierwszej dziesiątce listy przebojów, stając się najbardziej rozpoznawalnym utworem artysty. Mimo że era swingu miała nadejść dopiero za trzy lata, to właśnie Duke nadał jej tę nazwę.
Zespół nagrywał także muzykę filmową m.in. do "Murder At The Vanities", "May Happy Returns", "A Day at The Races" czy "Hit Parade of 1937". W tym samym czasie wychodziły kolejne przeboje formacji. "Scattin’ At The Kit-Kat", "Caravan", "You Were in My Place (What Would You Do?)" czy "Let a Song Go out of My Heart" to tylko niektóre z nich.
Latem 1941 roku musical Ellingtona zatytułowany "Jump for Joy" miał swoją premierę w Los Angeles. Sztuka cieszyła się tak wielką popularnością, że wystawiono ją ponad sto razy. Kolejnym musicalowym sukcesem było "Beggar’s Holiday" z 1946 roku, a następne muzyka do filmu "The Asphalt Jungle".
Najlepiej sprzedawanym albumem w karierze Duke’a był "Ellington At Newport" z 1956 roku. Dwa lata później artysta występował już na koncertach w Europie. Ellington pojawił się w filmie "Anatomy of a Murder" z 1961 roku, a ścieżka dźwiękowa do tej produkcji przyniosła artyście aż 3 nagrody Grammy.
Kolejne lata to kolejne wyróżnienia dla artysty - piosenka "In The Beginning, God", album "Far East Suite", a następnie "And His Mother Calles Him Bill" - to tylko niektóre dzieła, za które Duke dostał Grammy.
Duke Ellington zmarł 24 maja 1974 roku w Nowym Jorku.