Jay formó en 1979 Bad Religion junto a Jay Bentley, Greg Graffin y Brett Gurewitz, compañeros suyos del instituto El Camino Real High School, en Woodland Hills, Los Ángeles, California.
Dejó la banda en plena grabación y fue sustituido por Pete Finestone, que terminó el resto de canciones.
Las causas que llevaron a Ziskrout a dejar Bad Religion cuando solo llevaban un año de vida como banda y abandonar justo en plena grabación del primer álbum aún hoy en día no están claras.
Tras dejar la música en activo se marchó a Nueva York, donde trabajó junto a Clive Davis en la veterana discográfica de este, Arista Records (hoy en día propiedad del conglomerado Sony BMG).
Después de su etapa en Epitaph, Ziskrout volvió a Estados Unidos con Grita!