Die sportliche Karriere des Jürgen Klops beginnt als Jugendspieler beim SV Glatten, bei dem er 11 Jahre lang kickte. Danach wechselte er als Amateur zum TuS Ergenzungen und dem 1.FC Pforzheim. Von da aus wechselte er zu Eintracht Frankfurt in die Reservemannschaft und ging zur Saison 1989/1990 aufgrund dessen, dass er sich nicht geschafft hat entscheidend durchzusetzen zu Rot-Weiß Frankfurt und verpasste am Ende dieser Saison knapp den Aufstieg in die 2.Bundesliga gegen den 1.FSV Mainz 05 wo er anschließend hinwechselte. Als Profi beim 1. FSV Mainz 05 bestritt er insgesamt in seiner 11 Jahre andauernden Karriere 340 Zweitligaspiele, schoss 52 Zweitligatore und ist dort bis 2006 gemeinsam mit Michael Müller Rekordspieler und Rekordtorschütze in der 2.Bundesliga im Verein.