İzmir Körfezi’ne hâkim, şehrin güneyinde bulunan 186 m. yüksekliğindeki Pagos Dağı eteklerinde bir tepe üzerinde bulunan kale ilk defa MÖ.334 yılında Anadolu’yu Pers egemenliğinden kurtaran Makedonya Kralı Büyük İskender’in (MÖ. 356–323) isteği ile yapılmıştır.

İskender’in komutanlarından Lysimachos’un İmparator’un emri ile yaptığı bu kalenin bulunduğu yerde daha önce bir Leleg yerleşmesi olduğu Antik kaynaklarda belirtilmektedir. Bununla beraber burada yapılan kazılarda bu iddiayı kanıtlayacak herhangi bir buluntuya rastlanmamıştır.

Tarih boyunca İzmir çeşitli saldırılara uğramış bu yüzden de şehrin surlarla kuşatılmasına gereksinim duyulmuştur. Bu nedenle de Kadifekale’de izleri ile karşılaşılan, Akropolden bugünkü Basmane semtindeki Sart yoluna ve Eşrefpaşa’daki Efes yolundan denize kadar uzanan iki sur yapılmıştır.

Kale Roma döneminden sonra Ortaçağda Timur orduları tarafından 1402’de tahrip edilmiş, bunu İzmir’deki 1668 yılında olan deprem izlemiştir. Kaleden günümüze pek az kalıntı gelebilmiştir. Günümüze gelebilen kalıntılar daha çok Ortaçağ’a aittir. Ortaçağ kale duvarlarının altında yapılan araştırmalarda ise Helenistik döneme (MÖ. 330-MS. 20) ait duvar kalıntıları ile karşılaşılmıştır.

XIX. yüzyılda İzmir’e gelen gezginlerin sözünü ettiği bu kalenin büyük bir bölümü ortadan kalmıştır. Günümüze gelen kalıntılardan kalenin moloz taş, kesme taş ve tuğladan yapıldığı anlaşılmaktadır.

Kadifekale’den günümüze yalnızca kalenin batısındaki beş kulesi ile güneyindeki duvarlarından bir bölümü ayakta durmaktadır. Bunlara dayanılarak kalenin uzunluğunun 6 km. olduğu ve sur duvarlarını destekleyen kulelerin 20–35 m. yüksekliğinde olduğu anlaşılmaktadır. Kalenin bunun dışında kalan doğu ve kuzey kısımları tamamen yıkılmıştır. Kale içerisinde ise bir dehliz ve bir de su sarnıcı kalıntısı görülmektedir.

Sarnıç moloz taş ve tuğladan yapılmıştır. Üzeri toprak dolgu olan sarnıcın içerisi birbirleri ile tuğladan yuvarlak kemerli payelerle bölümlere ayrılmıştır. XX. yüzyılın ikinci yarısında yapılan kazılar sonucunda sarnıcın bütünü iyi bir durumda ortaya çıkarılmıştır.

Kadifekale surlarının bir bölümü Çelebi Mehmet tarafından yıktırılmıştır. Yalnızca doğu yönündeki surlardan rektangonal (çok iri taşlar) parçalardan bir iki adedi Basmane Garı’ndan Tilkilik’e uzanan ve Altınpark’a giden yolun başında görülmektedir.