Kiedy przyjaciel Mascisa założył własną niezależną wytwórnię Homestead Records, obiecał muzykowi, że wyda jego płytę. Ten napisał kilka utworów i zaprosił do współpracy Barlowa, który chętnie zgodził się zagrać z kolegą. Skład uzupełnili wokalista Charlie Nakajima i perkusista Emmet Patrick Murphy, lepiej znany jako Murph. Grupa przyjęła nazwę Mogo. Jednak już następnego dnia po zagraniu pierwszego koncertu Mascis postanowił rozwiązać zespół, niezadowolony z zachowania na scenie wokalisty. Kilka dni później muzycy już bez Nakajimy sformowali nową grupę. Przyjęli nazwę Dinosaur (zmienioną później na Dinosaur Jr.).
Debiutancki album nagrany za kwotę pięciuset dolarów ukazał się w 1985 roku. Nosił tytuł „Dinosaur” i zawierał bardzo zróżnicowaną muzykę. Zespół łączył brzmienia hardcore punk, styl garażowego rocka, riffy w stylu Black Sabbath, gothic, folk rock i country rock. Każda piosenka na albumie utrzymana była w innym stylu. Muzyka była niezwykle głośna i zawierała dużą ilość przesteru. Album sprzedał się w bardzo małej ilości i został kompletnie zignorowany przez muzyczną prasę.
Po wydaniu płyty zespół często grał koncerty w Nowym Jorku. Po kilku występach zostali dostrzeżeni przez Sonic Youth, którzy zaprosili ich na wspólną trasę po USA we wrześniu 1986 roku.
Podczas nagrywania drugiego albumu dochodziło do częstych kłótni pomiędzy Murphem a Mascisem, gdyż ten drugi kontrolował niemalże każde uderzenie pałeczki i tłumaczył perkusiście jak ma grać. Po nagraniu całości lider postanowił wydać płytę w wytwórni SST Records, rezygnując z usług Cosloya, (który poczuł się zdradzony przez przyjaciela). Po nagraniu płyty Masics przeprowadził się do Nowego Jorku, alienując się od reszty kolegów z zespołu.
Płyta „You’re Living All Over Me” ukazała się w 1987 roku a do jej pierwszych egzemplarzy dołączana była kaseta z nagraniami zespołu Barlowa Sebadoh. Krążek zebrał dużo pochlebnych recenzji i zespół wszedł do czołówki undergroundowej sceny muzycznej. Płyta zawierała dużo bardziej spójną muzykę. Choć formacja wciąż mieszała różne style utwory, to w przeciwieństwie do poprzedniego albumu – te były utrzymane w jednym klimacie. Muzyka była równocześnie bardzo energetyczna i melodyjna.
Pierwszym sukcesem na wyspach brytyjskich był utwór „Freak Scene” z 1988 roku. Dotarł do czwartego miejsca na niezależnych listach przebojów i pozostał tam przez dwanaście tygodni. Na liście singli zespół zadebiutował rok później coverem grupy The Cure „Just Like Heaven”.
Przy pracy nad kolejnymi płytami Mascis przejmował coraz większą kontrolę nad brzmieniem grupy. Narastały również konflikty pomiędzy muzykami. Po wydaniu płyty „Bug” i po powrocie z trasy koncertowej promującej album Barlow został wyrzucony ze składu, czym specjalnie się nie przejął, skupiając się na własnym projekcie Sebadoh.
Miejsce Barlowa zajeła na koncertach po Australii Donna Dresch. W 1990 roku zespół w składzie z Donem Flemingiem i Jayem Spiegelem wydał singiel „The Wagon”.
Wkrótce zespół podpisał kontrakt z wytwórnią Sire Records i wydał album „Greek Mind”, będący debiutem dla dużej wytwórni. Była to praktycznie solowa płyta Mascisa, którego tylko w niektórych utworach wsparła reszta członków zespołu. Na płycie znalazły się bardziej stonowane utwory z większą ilością instrumentów klawiszowych i akustycznych brzmień. Po nagraniu płyty zespół opuścili Spiegel i Flaming.
Mascis i Murph ruszyli w trasę. Wspierał ich na basie najpierw Van Conner, a później Mike Johnson, a jako support występowała między innymi Nirvana. Wkrótce ukazała się też EP-ka „Whatever’s Cool With Me”. W 1992 roku wzięli udział w trasie „Rollercoaster” wspólnie z The Jesus and Mary Chain, My Bloody Valentine i Blur.
Ze względu na dobre przyjęcie podczas koncertów zespół zdecydował się nagrać nowy materiał w odmłodzonym składzie. Murph tym razem nagrał większość partii perkusyjnych, a Johnson oprócz nagrania partii basu zagrał też kilka solówek gitarowych. Płyta „Where You Been” dotarła do pierwszej dziesiątki notowań w Wielkiej Brytanii i przyniosła zespołowi komercyjny sukces.
Po zagraniu trasy koncertowej z zespołu odszedł Murph. Na potrzeby występów do grupy dołączył George Berz. Materiał na kolejne albumy nagrywał głównie Mascis, zostawiając tylko Johnsonowi partie basu i część wokali w chórkach. Zespołowi udało się powtórzyć komercyjny sukces płytą „Without a Sound” z 1994 roku. Jednak już po wydaniu płyty „Hand It Over” w 1997 roku Mascis rozwiązał zespół i zaczął wydawać płyty jako J Mascis and the Fog.
W 2002 roku Mascis i Barlow zagrali wspólnie na dwóch koncertach w Londynie. Dwa lata później Mascis nabył od wytwórni SST prawa do trzech pierwszych albumów grupy i postanowił wydać je pod szyldem Merge w 2005 roku. Później znów wystąpił z Barlowem – tym razem na dobroczynnym koncercie na rzecz autyzmu. W 2005 roku Mascis, Barlow i Murph finalnie reaktywowali zespół i ruszyli w trasę po Europie.
Dwa lata później ukazała się kolejna płyta grupy, zatytułowana „Beyond”. Album został bardzo dobrze przyjęty przez krytyków i publiczność i zawierał muzykę, w której słychać pełne zgranie zespołu i atmosferę jakiej można było doświadczyć na koncertach grupy.
Obecnie grupa pracuje nad nowym albumem, który ma się ukazać w czerwcu 2009 roku i ma nosić tytuł „Farm”.
Black Sabbath • Sonic Youth • The Cure • Nirvana • Blur • Screaming Trees • Meat Puppets • Fucked Up • The Stooges • The Dandy Warhols