1935년 5월 미국 아이다호에서 태어난 게리 피콕은 어린 시절부터 음악을 공부했으며, 1950년대 독일에서 군 복무를 마칠 때까지 피아니스트로 활동했다. 전역 후 유럽에 머물던 시절 베이스로 전향했고, 미국으로 돌아온 1985년 쿨 재즈의 여러 명인들과 협연을 벌였다. 뉴욕에 입성한 1962년부터 피아니스트 폴 블레이와 빌 에반스, 관악기연주자 지미 쥬프리, 롤랜드 커크, 마일즈 데이ㅣ스, 작곡가 조지 러셀 등과 교류하며 음악의 폭을 넓혀갔다.
1960년대 중반 프리 재즈의 물결에 가세해 실험적이고 도전적인 스타일을 선보이기도 했다.
그러던 준 잠시 음악 활동을 접고 일본으로 건너가 수년 간 동양철학과 의학에 물두했다.
1970년대 초반 다시 미국으로 돌아와 연주 활동을 재개했으며 탁월한 테크닉과 독창적인 톤을 바탕으로 추상과 구상을 오가는 베이시스트로 평가받게 이르렀다. ECM을 포함한 현대 재즈의 여러 주요한 레이블에서 다양한 리더작을 발표했다. 키스 자렛 트리오를 비롯해 몸담는 밴드마다 인상적이고 믿음직한 연주를 들려주었으며 모던과 포스터 모던, 그리고 프리 재즈의 넓은 스펙트럼 안에서 재즈 베이스가 나아갈 바를 제시한, 현대 재즈의 큰 스승이다.