İstanbul'da doğdu. Küçük yaşlarda, piyano öğretmeni olan annesi Vecihe Koray'dan piyano öğrendi, daha sonra gitar çalmaya başladı. İstanbul Alman Lisesi'nde eğitim gördüğü 50'li yılların ikinci yarısında , arkadaşları ile kurduğu amatör topluluk olan Erkin Koray ve Ritimcileri ile dönemin güncel parçalarını çalmaya başladı. Lise eğitiminin ardından 60'lı yılların başına dek çalışmalarını yarı amatör yarı profesyonel olarak sürdürdü.
1959 yılında ilk grubu Erkin Koray ve Ritimcileri'ni kurdu. 1962 yılında çeşitli müzikli mekanlarda programlar yaptığı sıralarda aldığı bir teklif ile bir yüzünde Bir Eylül Akşamı, diğer yüzünde It's So Long adlı İngilizce parça bulunan ilk 45'liğini yaptı. Erkin Koray 1963-1965 yılları arasında çeşitli orduevi ve askeri gazinolarında gitar çalarak askerlik hizmetini yaptı.Terhis sonrasında bir süre Avrupa'nın çeşitli ülkelerinde dolaşan Erkin Koray Türkiye'ye dönüşünden sonra 1966 yılında, Hürriyet Gazetesi tarafından yapılan Altın Mikrofon yarışmasına katıldı. Bu yarışmadan umduğu sonucu alamayınca çeşitli müzikli mekanlarda çalışmaya devam etti.
1967 yılında Erkin Koray Dörtlüsü adlı grubu kurdu. Aynı yıl basılan, bir yüzünde Kızları da Alın Askere, diğer yüzünde Aşk Oyunu adlı parçalar bulunan 45'liği ile önemli başarı kazandı. Özellikle Kızları da Alın Askere parçası Erkin Koray'ın geniş kitleler tarafından tanınmasında önemli rol oynamıştır.
Bu ilk önemli başarıyı, 60'lı yılların sonlarına dek ardı ardına gelen; Anma Arkadaş, Hop Hop Gelsin, Sana Bir Şeyler Olmuş, Seni Her Gördüğümde gibi hepsi büyük beğeni toplayan parçalar takip etmiştir.
1969 yılında kurduğu Yeraltı Dörtlüsü adlı grubu ile çalışmalarına devam eden Koray, 70'li yılların başlarına gelindiğinde Türkiye'de oldukça geniş bir dinleyici kitlesine sahiptir ve kendine özgü müzik çizgisi belirginleşmiş durumdadır.
1971'de Erkin Koray Süper Grup'u, 1972'de Ter'i ve 1973'te Stop! Erkin Koray gruplarını kuran Koray, 1970-1974 yılları arasında Türkiye müzik listelerinde üst sıralarda yer alan klasikleşmiş birçok esere imza atmıştır. İlahi Morluk, Aşka İnanmıyorum, Mesafeler, Züleyha, Silinmeyen Hatıralar, Şaşkın, Fesuphanallah bu dönem eserlerindendir.
Erkin Koray 1974-1984 yılları arasında kısa sürelerle Türkiye'ye gelişleri dışında Almanya'da yaşadı. Hakkında pek fazla bilgi olmayan bu dönemde; Estarabim, Arap Saçı gibi çok bilinen eserleri yayımladı. Bu dönemde The Great Error adlı grubu kurdu ve grupla pek başarılı olmayan bir Avrupa turnesi yaptı. Koray 1977 yılında kurduğu Erkin Koray Tutkusu adlı gruptan sonra, kısa süreli beraberlikler dışında başka grup kurmamıştır.
1982'de ki Benden Sana, 1983'teki İllaki ve 1985'teki Ceylan albümleriyle sanatçı eski hitlerine yeni şarkılar eklemiş ve bu yeni şarkılardan Öyle Bir Geçer, Ceylan ve Deli Kadın olumlu etkiler göstermiştir.
Türkiye'ye kesin dönüşünün ardından kendisi için pek verimli geçmeyen 1985-1990 yılları arasında belki en çok bilinen çalışması olan Çöpçüler ile büyük bir çıkış yaptı. Bu dönemin diğer bir önemli ve özgün eserlerinden biri de Gaddar'dır. 1990-1993 yıllarında, genelde Öyle Bir Geçer, Arapsaçı, Fesupanallah, Şaşkın, Sevince ve Yalnızlar Rıhtımı vb. hitleri içeren bir toplama albüm serisi ve bir de Best Of piyasaya sürdü.

Yenilikçi, sentezci, deneyci bir müzik çizgisi olan Erkin Koray; sıradışı şarkı sözleri, kendine özgü vokal biçimi, uzun saçları, özgün kıyafetleri ve bunun gibi daha birçok nedenle dönemin yayın tekeli olan Türkiye Radyo Televizyon Kurumu TRT tarafından dışlanmıştır.
Eserlerinin nerede ise tamamı yakın zamanlara kadar, TRT denetimi tarafından yayımlanmaya uygun görülmemiştir. Bu durum ülkemizde özel yayın kuruluşlarının ortaya çıkışına kadar süregelmiş ve Koray'ın dinleyici kitlesinin sınırlı kalmasına yol açmıştır.
Yaşanan maddi sıkıntılar, sanatçıyı tek bir sentezleyici eşliğinde kaydedilen Çukulatam Benim (1987) gibi düşük bütçeli yapımlara zorlamıştır. 1989 yılında yaptığı Hay Yam Yam'ın ardından anlamlı bir isimle Tamam Artık albümünü yayımladı.
Bu çalışmasının ardından bir sessizlik ve küskünlük dönemine giren sanatçı, Tek Başına Konser adlı konser kayıtlarından oluşan dışında albüm çalışmalarına ara verdi.
1996 yılına kadar süren bu sessizlik, iddialı ve görece yüksek bütçeli Gün Ola Harman Ola albümü ile bozulmuştur. Büyük satış başarısı göstermeyen ancak eleştirmenlerce olumlu eleştiriler alan bu çalışmayı 1999 yılında yayımlanan Devlerin Nefesi adlı albümü takip etmiştir.