Seu primeiro lançamento foi em 2001, com o Taking Back Sunday EP. Nessa época, os integrantes da banda eram Antonio Longo no vocal, John Nolan como guitarrista e backing vocal, Eddie Reyes também como guitarrista (o fundador original da banda), Adam Lazzara no baixo e Mark O'Connell na bateria. Este CD era distribuído em shows, mas nunca alcançou sucesso, de fato. Com uma sucessão de mudanças (Antonio Longo deixou a banda. [ver mais]