뉴욕에서 태어나 유복한 어린시절을 보냈으나 아버지의 사업 실패와 죽음으로 은행원, 점원 등 여러 직업을 전전하였다. 여러 직업을 거치는 동안 올버니 아카데미, 올버니 클래시컬 학교 등에서 공부를 계속했다. 1841년 포경선 어커시넷호에 승선하여 18개월간 선원으로 일하다 혹독한 선원 생활을 견디지 못하고 탈주한 뒤 타이피 계곡에서 원주민과 생활하였다. 1846년 이 경험을 바탕으로 쓴 『타이피Typee』와 이듬해 『오무—남양 모험기Omoo: A Narrative of Adventures in the South Seas』의 출간으로 작가로서 명성을 얻는다. 1850년 너새니얼 호손을 만나 친교가 시작되었으며 이는 호손이 죽기 전까지 이어진다. 1851년 출간된 『모비딕—혹은, 고래Moby-Dick; or, The Whale』 등 이후 멜빌의 대표작으로 꼽히게 되는 작품들을 발표하나, 이전과 같은 명성을 누리지는 못한다. 1891년 심장 발작으로 사망하였으며 유작으로 「선원, 빌리 버드Billy Budd, Sailor」가 있다. 멜빌은 1920년대 이후 재평가되었는데, 출간 당시에는 큰 호응을 얻지 못했던 『사기꾼—그의 변장 놀이The Confidence -Man: His Masquerade』 역시 작품에 담긴 현대성과 당대에 대한 풍자 등으로 높은 평가를 받게 되며 시대를 초월하는 현대적인 작품으로 널리 읽히게 되었다.