Çandarlı’nın tarihi M.Ö 4000 yıllarına dayanmaktadır.  Kale ve antik kent adını Amazon Kraliçesi Pitaned’den almıştır. Ünlü filozof, Arcesilaus Çandarlılıdır. Yerel efsaneye göre; şehir Amazon savaşçıları tarafından yönetilirdi.  Bu yüzden şehrin adı – Kadınların Şehri ya da Kraliçe Şehir olarak anılmıştır. Şehir sonraki yıllarda; Hititler, Lidyalılar, Pers İmparatorluğu, Bizans, Selçuk ve son olarak Osmanlı hâkimiyetine girmiştir.

Diktörgen şeklindeki Kale, 13.yy da Cenevizliler tarafından inşa edilmiştir. 15.yy da Osmanlı döneminde yenilenmiştir. Kale, andezit kütlenin teraslanarak yapıya uygun hale sokulması ile inşa edilmiştir. Yan payandalarla desteklenmiştir. Beş kulesi ve mazgalları ile görkemli bir görünümdedir. Kale de yenileme çalışmaları halen devam etmektedir.

Kazılarda bulunmuş; Arkaik döneme ait, çıplak erkek heykeli, Bergama Müzesinde sergilenmektedir.