Співак був молодшим сином державного службовця Гарольда Кокера, що проживав в Шеффілді. Через фінансову скруту Джо рано залишив школу і пішов працювати помічником монтера. Однак в 1961 р він почав кар'єру співака в невеликих пабах Шеффілда, виступаючи під псевдонімом Vance Arnold в складі групи «The Avengers». До складу репертуару входили в основному пісні Чака Беррі і Рея Чарльза.
У 1963 році, Кокер і його команда виступили на сцені Шеффілдського сіті-холу перед концертом «Rolling Stones». За словами очевидців, їх виступ був дуже переконливим.
У 1966 році, Джо Кокер разом з Крісом Стейнтона (Chris Stainton) створили групу «Grease Band» і часто виступали в Шеффілді, а також гастролювали по півночі Англії, граючи афроамериканский ритм-н-блюз і соул.
У 1968 році записав власну версію бітлівської «With a Little Help from My Friends», яка в листопаді досягла вершини національного хіт-параду продажів.
Навесні 1969 «Grease Band» вирушили у свій перший тур по США. Альбом «With a Little Help from My Friends» був випущений незабаром після прибуття в Америку і зайняв 35-е місце в американських чартах.
У серпні 1969 року його виступ став одним із цвяхів фестивалю у Вудстоку. У наступному році співак гастролював по Америці. За 56 днів, разом зі своєю свитою, що складається з понад сорок осіб, Кокер об'їздив 48 міст і дав 52 концерту.
У 70-і роки Кокер мав проблеми з репертуаром, в якому переважали переспіви пісень інших виконавців. Крім того, він пристрастився до наркотиків і алкоголю, регулярно з'являючись на сцені в стані легкого сп'яніння. Через зловживання алкоголем його колись потужний голос перетворився на гранично хрипкий баритон. Це не завадило йому в 1982 р в дуеті з Дженніфер Уорнс підкорити американські чарти з повільною баладою «Up Where We Belong», за якою послідували інші пісні в аналогічному стилі. Пісня «Up Where We Belong» прозвучала у фільмі «Офіцер і джентльмен» і була номінована на премію «Оскар».
Кокер був одним з небагатьох вудстоковскіх «ветеранів», який виступив (і з успіхом) на Woodstock '94. Маловідома пісня Кокера «Woman to Woman» була перероблена реп-продюсером Доктором Дре для Тупака Шакура в суперхіт «California Love», який очолив Billboard Hot 100 і був включений до Списку 500 найкращих пісень усіх часів журналу Rolling Stone. Також ця пісня звучить у комп'ютерній грі Grand Theft Auto: San Andreas на радіостанції K-DST.
Останні роки багато хворів. У вересні 2014 року Біллі Джоел зі сцени повідомив, що стан здоров'я Кокера незадовільний. Помер 22 грудня 2014 від раку легенів.