Ο Archie Shepp γεννήθηκε στο Fort Lauderdale της Φλόριντα το 1937. Μεγάλωσε στη Φιλαδέλφεια και σπούδασε υποκριτική. Ψάχνοντας για δουλειά ως ηθοποιός στη Νέα Υόρκη, έκανε την πρώτη γνωριμία του με το σαξόφωνο (αρχικά το άλτο, έπειτα το τενόρο) και σύντομα έπαιζε σε αβάν-γκαρντ σύνολα, όπως το γκρουπ του Cecil Taylor, το κουαρτέτο του Bill Dixon και οι New York Contemporary Five. Από τα σύνολα των οποίων επικεφαλής υπήρξε ο ίδιος, πέρασαν πολλοί επώνυμοι μουσικοί, όπως ο τρομπονίστας Roswell Rudd, ο βιμπραφωνίστας Bobby Hutcherson και ο ντράμερ Beaver Harris. Το άλμπουμ «Steam» (πρώτη κυκλοφορία 1976) αποτελεί χαρακτηριστικό παράδειγμα του τρόπου με τον οποίο ο Shepp χρησιμοποίησε την free jazz ως όχημα όχι μόνο καλλιτεχνικής, αλλά και πολιτικής έκφρασης, αναγορεύοντας τον εαυτό του σε σημαντικό παράγοντα και αγωνιστή υπέρ της αποδοχής της αφροαμερικανικής ταυτότητας. Συνολικά πρόκειται για μια παρουσία που διαδραμάτισε ουσιαστικό ρόλο στην ανάπτυξη της νέας μουσικής και επηρέασε πολλούς από τους μεταγενέστερους σαξοφωνίστες της αβάν-γκαρντ. Από το 1974 κατέχει έδρα καθηγητή στο Πανεπιστήμιο της Μασαχουσέτης, ενώ παράλληλα συνεχίζει τις συναυλίες του, δουλεύοντας κατά κύριο λόγο στην Ευρώπη.