W szkole założył pierwszy zespół The Origin razem z kolegą z dzieciństwa Michaelem Andrewsem. Grupa we wczesnych latach 90. wydała dwa albumy, ale Jules znów rozczarowany efektami – odszedł z formacji i przeniósł się do Los Angeles.
Zafascynowany Wschodem – ruszył na wyprawę do Azji, od czasu do czasu śpiewając na ulicach za przysłowiową kolację. Po powrocie do USA zmienił otoczenie, przenosząc się z Los Angeles do San Diego, i zakładając formację Our Town Pansies. Zespół nie przetrwał jednak długo, a Jules i Andrews zaczęli ponownie razem pracować.
W tym okresie napisał wiele piosenek, które nagrywał jako demo. Andrews wrócił do San Diego, by nawiązać w 1995 roku współpracę z Greyboy Allstars, a Jules powrócił do Los Angeles.
Jedną z osób, które słyszała dokonania The Our Town Pansies był kolega ze szkoły Julesa – Zeke Piestrup, DJ w Los Angeles. Dzięki niemu doszło do spotkania artysty z wytwórnią Metro Ride. Jules poprosił Andrewsa o pomoc przy produkcji albumu, razem z J. Bradleyem Cookiem, świeżo po współpracy z Counting Crows.
Na wiosnę 1997 roku nagrał album Greetings From the Side, który przeszedł zupełnie niezauważony medialnie.
W 2001 roku wydał „Trading Snakeoil for Wolftickets”. Był to jego pierwszy komercyjny sukces.
A remiks klasycznego „Mad World” z repertuaru Tears for Fears zadebiutował na pierwszym miejscu brytyjskiej listy przebojów w Boże Narodzenie 2003 roku i szybko pokrył się złotem.
Między latem 2003 roku a sierpniem 2004 roku zagrał 300 koncertów w USA, Australii, Wielkiej Brytanii oraz Europie kontynentalnej, wliczając w to trzy tygodnie wspólnych występów z Bobem Dylanem.
W sierpniu 2004 roku Gary’emu i jego żonie Grecie urodziło się pierwsze dziecko.
W 2006 roku artysta nagrał, samodzielnie nazwał i wyprodukował album „Gary Jules” z wieloletnimi przyjaciółmi - CdBaby.com, następnie wrócił do Los Angeles, by przenieść się potem do zachodnio – północnej Karoliny, gdzie budując w swoim domu studio nagrań zaczął planować tournee po Ameryce Północnej, Australii oraz Wielkiej Brytanii.