Karl Joel wurde am 27. März 1864 in Hirschberg geboren. Sein Vater war Rabbiner und entsprach damit einer langen Familientradition. Bereits der Vater, der als Geistlicher eine offene Haltung gegenüber anderen Religionen vertrat, hegte grosse philosophische Interessen. Als Student war er in Berlin Geistesgrössen verschiedener Disziplinen begegnet und fand im Kreis von Schellings Teegästen Aufnahme, nachdem Schelling durch eine Preisarbeit auf Joels Vater aufmerksam geworden war. Auch der renommierte Onkel Manuel Joel, Rabbiner und Religionsphilosoph in Breslau, lebte dem jungen Karl Leidenschaft für die Philosophie vor. Karl Joel fasste denn auch bereits im Knabenalter den Plan, einst Philosophie zu studieren.

Dieses Vorhaben realisierte Joel zunächst in Breslau, wo er unter anderem auf Dilthey traf. Bereits 1883 wechselte Joel dann nach Leipzig, wo er sich neben Philosophie noch mit vielen anderen Disziplinen befasste. Einer der ihm imponierenden Leipziger Lehrer war zunächst Wilhelm Wundt. Eine zentrale Einrichtung für Joels Entwicklung am neuen Studienort war der von Avenarius gegründete Akademisch-Philosophische Verein, wo die Studenten die Gelegenheit hatten, aktiv an Debatten teilzunehmen. In dieser Phase wandte sich Joel allmählich ab von der anfänglichen Begeisterung für den vorherrschenden Naturalismus und trat zu diesem orientiert an idealistischem Denken in kritischen Gegensatz. 1886 doktorierte Joel mit einer Arbeit zu Platon.

Danach hielt sich Joel vor allem in Dresden und immer öfter auch in Berlin auf. In diesen Städten kam er nicht nur in prägende Berührung mit der künstlerischen Kultur der Zeit, in Berlin eröffnete sich ihm auch die Gelegenheit zu Gesprächen mit bedeutenden Philosophen. Wichtig war vor allem die Begegnung mit Wilhelm Dilthey, zugleich entstand hier eine Freundschaft zu Georg Simmel. Die beiden Freunde fanden sich in der «Betonung der Lebensbedeutung des Denkens», wie Joel später schrieb. Die Jahre nach der Promotion waren allerdings geprägt durch enttäuschende akademische Erfolglosigkeit: Der Universitätsphilosophie gegenüber fühlte sich Joel fremd, auch von Brentano in Wien, bei dem Joel auf Sympathie zu stossen hoffte, wurde er abgewiesen, und ein Habilitationsversuch in München scheiterte.
Im Winter 1892/93 gelangte Joel dann aber auf Einladung Ferdinand Dümmlers nach Basel. Hier konnte er sich noch 1893 habilitieren. 1897 erfolgte die Beförderung zum Extraordinarius, 1902 zum Ordinarius für Philosophie. In diesem Amt blieb er bis zu seiner Emeritierung 1931. Auch nach der Emeritierung lehrte Joel weiter in Basel, bis zu seinem Tod 1934. In Basel sah Joel durch das Wirken Burckhardts, Nietzsches und Böcklins den Boden bereitet, um mit seiner naturalismuskritischen Philosophie endlich auf offene Ohren zu stossen. Tatsächlich konnte der auf Lebensrelevanz der Philosophie insistierende Professor innerhalb wie ausserhalb seines Fachs in den fast vierzig Jahren Basler Lehrtätigkeit viele interessierte Hörer gewinnen. Ein früher Schüler war sein späterer Kollege Paul Häberlin. Die Wertschätzung, die Joel seiner Wahlheimat und ihrer humanistischen Tradition entgegenbrachte, äusserte sich auch in der Abfassung von Schriften zu den Lokalgrössen Burckhardt und Nietzsche. Der Stadt Basel machte sich Joel zeitweilig auch als Rektor der Universität verdient. Er bekleidete dieses Amt 1913. Joel war vermutlich der erste Basler Universitätsleiter jüdischen Glaubens.

Joel vertrat das ambitionierte Vorhaben, die in den Gegensatz von objektivistisch-positivistischer und subjektivistisch-lebensphilophischer Richtung gespaltene und in zahlreiche spezielle Disziplinen zersplitterte Philosophie der Zeit unter dem Begriff des Organismus zusammenzuführen. So sollte die Philosophie wieder ihrem «Beruf zur Weltanschauung» gerecht werden. Sein Verständnis der philosophischen Situation seiner Zeit war von der geschichtsphilosophischen Diagnose eines sich vielfach wiederholenden Prozesses von der Leidenschaft zur Vernunft geleitet. Der Naturalismus erschien danach als Folge der Romantik und war in einer Synthese beider Bewegungen aufzuheben. Nach diesem Leitfaden schrieb Joel auch seine grösseren philosophiegeschichtlichen Werke Wandlungen der Weltanschauung und Geschichte der antiken Philosophie. Letztere Schrift fand besondere Beachtung. Joels geschichtsphilosophischer Ansatz postulierte aber nicht bloss die Wiederholung der erläuterten Figur, sondern auch eine fortschreitende «Organisierung» der Menschheit im Lauf der Geschichte. Alldem zugrunde lag das beständige Anliegen eines tiefen Lebensbezugs des Denkens. Joel starb am 23. Juli 1934 in Walenstadt.