Muzyka grana przez Semi Precious Weapons to mieszanka glam rocka, rocka alternatywnego i garażowych brzmień. Sami członkowie grupy swoją twórczość określają mianem Filthy Glamour (nieprzyzwoity splendor).
Debiutancki album kwartetu „We Love You” pojawił się w 2008 roku. Pierwotnie udostępniono go do ściągnięcia za darmo z internetu, po podpisaniu kontraktu z wytwórnią Razor & Tie Records, ukazał się także, wydany jej nakładem, na nośniku fizycznym.
Sukces debiutu zaowocował nowym kontraktem z prestiżową wytwórnią Interscope Records, podpisanym w listopadzie 2009 roku. Wydawnictwo Interscope jest częścią Universal Music Group, pod jego szyldem swoje płyty wydają m. in.: 50 Cent, Eminem, Marilyn Manson, Justin Timberlake, Tokio Hotel czy Lady Gaga. To właśnie ta ostatnia z wymienionych gwiazd odegrała olbrzymia rolę w promowaniu kariery nowojorskiego kwartetu.
Najpierw Semi Precious Weapons otrzymał zaproszenie jako support na jej trasę koncertową, The Monster Ball Tour, w dalszej kolejności piosenkarka została producentem drugiego albumu grupy, „You Love You” . Popularności członkom zespołu przysporzył także udział w teledysku Gagi do utworu „Telephone".
Longplay „You Love You" ukazał się w czerwcu 2010. Poza premierowymi utworami znalazły się na nim nowe wersje trzech znanych już z debiutu kompozycji: „Semi Precious Weapons" , „Rock n' Roll Never Looked So Beautiful" i „Her Hair Is On Fire".
50 Cent • Eminem • Marilyn Manson • Justin Timberlake • Tokio Hotel • Lady GaGa