Wraz z bratem zarabiali na życie grywając po okolicznych tawernach i pubach. Carl imał się różnych zajęć – pracował między innymi w piekarni czy w fabryce materaców, ale po ślubie, zachęcany przez swoją żonę, postanowił skupić się na graniu. W 1954 roku podpisał kontrakt z wytwórnią Sun Records. Przez pierwsze miesiące napisał kilka piosenek, które przyniosły mu rozpoznawalność i sukces na szczeblu lokalnym.
Przełom nastąpił jesienią 1955 roku. Zainspirowany wieczornym wyjściem do tawerny ze swoja partnerką, która pobrudziła mu buty, napisał utwór „Blue Suede Shoes”. Kawałek ten stał się wielkim sukcesem i długo nie schodził ze szczytów list przebojów. Dziś to pierwsze nagranie rockabilly, zawierające elementy bluesa, country i popu tamtej dekady, jest uznawane za standard gatunku.
Niedługo po wydaniu „Blue Suede Shoes” Carl przeżył poważny wypadek samochodowy, w którym omal nie utonął. Do szpitala życzenia powrotu do zdrowia przysłał mu sam Elvis Presley. Perkins szybko pozbierał się po wypadku i już w 1956 stworzył kolejne utwory – „Boppin' the Blues” (razem z Johnnym Cashem), „Dixie Fried” i klasyk „Matchbox”. Po nagraniu ostatniego z nich, Carl razem z Johnnym Cashem, Jerrym Lee Lewisem i Elvisem Presley’em zostali w studiu i śpiewali przez ponad godzinę gospel, country i rythm-n-bluesowe utwory, a wszystko zostało zarejestrowane na taśmie. Ta zwyczajna sesja nagraniowa została nazwana The Million Dollar Quartet i została ostatecznie wydana w formie tradycyjnego CD.
W 1958 roku Perkins zmienił wytwórnię na Columbię i nagrał dla niej szereg utworów. Podczas wspólnej trasy po Wielkiej Brytanii z Chuckiem Berrym - Carl zaprzyjaźnił się z zespołem The Beatles, czego skutkiem było nagranie przez Czwórkę z Liverpoolu kilku piosenek Perkinsa, między innymi „Matchbox”, „Honey Don't”, „Everybody's Trying to Be My Baby” i „Glad All Over”.
Carl Perkins przez całe swe dorosłe życie walczył z nałogiem alkoholizmu. To właśnie było wielką przeszkodą w harmonijnym rozwoju jego kariery.
Muzyk współpracował przy tworzeniu absolutnych hitów z takimi artystami, jak na przykład Johnny Cash („A Boy Named Sue”), Bob Dylan („Champaign, Illinois”), Paul McCartney („Get It”), Patsy Cline („I Was So Wrong”) czy The Judds („Let Me Tell You About Love”). Razem z nowojorską grupą nurtu rockabilly The New Rhythm and Blues Quartet nagrał płytę „Boppin' the Blues”.
W 1989 roku na płycie „Friends, Family, and Legends” towarzyszyli mu Chet Atkins, Travis Tritt, Steve Wariner, Joan Jett, Charlie Daniels, Paul Shaffer i Will Lee, a przy swoim ostatnim albumie z 1996 roku, „Go Cat Go!”, współpracował między innymi z Georgem Harrisonem, Paulem Simonem, Johnem Fogertym, Tomem Pettym oraz wokalistą zespołu U2, Bono.
Jego ostatnie i największe publiczne wystąpienie miało miejsce w 1997. Był to charytatywny koncert gwiazd muzyki dla divy Montserrat. Rok później artysta zmarł na leczonego od kilku lat na raka gardła.
Carl pozostawił po sobie szereg utworów, które na stałe weszły do tradycji muzyki rozrywkowej Ogromnej roli, którą Carl Lee Perkins pełni w historii rock’n’rolla najlepiej dowodzi fakt, że już w połowie lat 80. został wprowadzony do Rock and Roll Hall of Fame.
Johnny Cash • The Beatles • Elvis Presley • Jerry Lee Lewis • Chuck Berry • Bob Dylan • Paul McCartney • Patsy Cline • Travis Tritt • Steve Wariner • Joan Jett • George Harrison • Paul Simon • Tom Petty • U2 • Buddy Holly • Collin Raye • Ringo Starr