1900년에 독일 출신 지휘자였던 프리츠 쉴이 창단했으며, 쉴은 초대 음악 감독으로도 취임해 1907년에 타계할 때까지 재임하면서 악단 발전에 필요한 기초를 마련했다. 이후 역시 독일 출신이었던 칼 폴리히가 자리를 이어받았으며, 폴리히도 쉴의 방침을 이어받아 악단의 연주력 향상에 주력했다. 1912년에는 레오폴드 스토코프스키가 음악 감독으로 발탁되었고, 스토코프스키는 1938년까지 악단을 이끌면서 고도의 연주력과 광범위한 레퍼토리를 보유한 미국 유수의 관현악단으로 급성장시켰다. 특히 음향과 음색의 화려함 때문에 '필라델피아 사운드' 라는 수식어가 붙었으며, 월트 디즈니의 판타지아 음악 연주에도 참가하는 등의 역사적 업적을 남겼다.
스토코프스키 임기 말기였던 1936년에는 헝가리 출신의 유진 오먼디가 공동 음악 감독으로 활동하기 시작했으며, 스토코프스키 사임 후에도 1980년까지 44년간 장기 재임하면서 악단의 명성을 유지했다. 바이올리니스트 출신이었던 오먼디는 특히 현악 파트를 집중적으로 다듬어 더욱 세련된 소리를 추구했으며, 미국 각지와 전세계로 순회 공연을 하는 등 대외적인 활동에도 주력했다. 특히 1973년에는 문화대혁명으로 쇄국 상태였던 중국을 방문해 공연한 최초의 서양 관현악단으로 화제를 모았다.
오먼디가 1980년에 사임한 뒤에는 이탈리아 출신의 리카르도 무티가 음악 감독으로 취임했으며, 이어 볼프강 자발리슈가 1993년에 부임해 10년간 재임했다. 2003년에는 크리스토프 에셴바흐가 음악 감독에 임명되어 현재까지 재임하고 있다. 자발리슈는 퇴임 후 계관 지휘자 칭호를 수여받았고, 부지휘자로 로센 밀라노프가 2000년부터 활동하고 있다. 2008년 가을부터는 에셴바흐의 후임으로 샤를 뒤투아가 신임 음악 감독으로 활동할 예정이다.

스토코프스키 시대부터 본격적인 명성을 얻었고, 특히 녹음과 방송 출연 등에 있어서 미국의 여타 악단보다 적극적인 자세를 보여주었다. 1925년에는 세계 최초의 클래식 전기 녹음을 취입했고, 1929년부터는 NBC와 계약을 맺고 정기적으로 연주회를 중계하기 시작했다. 1948년에는 전국 텔레비전 방송망으로 연주를 중계한 최초 악단이 되었고, 2006년에는 악단 홈페이지에서 공연 실황 음원을 판매하기 시작한 최초의 미국 관현악단으로 기록되었다.
스토코프스키는 RCA에 많은 양의 녹음을 남겼으며, 후임자인 오먼디도 RCA와 CBS(현 소니 클래시컬)에 수많은 음반들을 취입했다. 1973년에는 첫 중국 공연을 기념해 피아노 협주곡 '황하' 가 커플링된 음반을 특별히 녹음하기도 했다. 무티는 전속사였던 EMI에 베토벤과 브람스, 스크랴빈, 스트라빈스키, 레스피기 등의 관현악 작품들을 녹음했고, 자발리슈도 역시 EMI 전속으로 녹음 작업을 했다.
2000년대부터는 악단 자체적으로 기념 음반 시리즈를 제작하고 있으며, 동시에 위에도 언급한 홈페이지의 음원 판매와 에셴바흐의 전속사인 온디네와의 음반 녹음 작업도 계속 진행하고 있다. 상주 공연장으로는 1855년에 건립된 아카데미 오브 뮤직을 사용하고 있었으나, 2001년부터는 새로 건립된 킴멜 센터를 주요 공연장으로 삼고 있다. 그러나 아카데미 오브 뮤직에서도 여전히 공연하고 있으며, 상주 악단의 지위도 아직 유지하고 있다.
여름 시즌에는 새러토가 봄 음악제와 베일 밸리 음악제의 상주 악단으로 야외 공연도 진행하고 있으며, 유소년과 청소년들을 위한 특별 음악회, 가족 음악회, 학교 공연 등의 기획 공연도 열리고 있다. 부속 합창단으로는 1972년 창단된 필라델피아 싱어즈(Philadelphia Singers)가 활동하고 있다.

역대 음악 감독
프리츠 쉴 (1900-1907)
칼 폴리히 (1908-1912)
레오폴드 스토코프스키 (1912-1938)
유진 오먼디 (1936-1980)
리카르도 무티 (1980-1992)
볼프강 자발리슈 (1993-2003. 이후 계관 지휘자)
크리스토프 에셴바흐 (2003-)