
Pierwszy singiel zespołu, zatytułowany "Babyshambles", ukazał się w kwietniu 2004 roku i dotarł do 32. miejsca UK Singles Chart. Znacznie lepiej poszło piosence "Killamangiro" (listopad 2004), która uplasowała się na miejscu 8.
Niestety pierwszy album, "Down in Albion", ukazał się dopiero rok później, a zwłoka spowodowana była między innymi problemami narkotykowymi Pete'a Doherty'ego. Single pilotujące ten album - "Fuck Forever" i "Albion" - trafiły odpowiednio na 4. miejsce UK Singles Chart i 8. Radio 1 Single Charts.
Pomimo braku kolejnych wydawnictw (poza "The Blinding EP" z grudnia 2006 roku) zespół często gości na łamach prasy, szczególnie brukowej, dzięki wybrykom i rozterkom sercowym Pete'a Doherty'ego.