프랑스 아르덴 지방의 시골 도시 샤를빌에서 태어났다. 16세가 되던 1870년, 첫번째 작품「고아들의 새해 선물」이 『만인을 위한 잡지』에 게재되었다. 1870년은 랭보에게 중요한 해로, 이해에 랭보는 시인이 되는 데 결정적인 역할을 하는 스승 조르주 이장바르를 만났으며, 당대의 유명 시인인 파르나스파의 수장 방빌에게 작품을 보내 잡지 『현대 파르나스』에 실어줄 것을 간구했으나 불발됐다. 또한 이해에 발발한 보불전쟁을 계기로 랭보 초기 시의 중심 테마인 부르주아와 제국주의에 대한 비판과 반교권주의 사상이 형성되었다.
1871년 파리코뮌과 코뮌의 처참한 몰락 이후 랭보는 사회를 집단적 진보의 대상으로 보기 시작했으며, 시의 사회적 책무와 ‘투시자voyant’로서의 시인의 역할을 강조했다. 1871년 5월에 쓴 두 통의 편지, 소위 ‘투시자의 편지’는 시 문학사에서 빼놓고 이야기할 수 없는 글이 되었다. 이 시기에 또다시 파리 문단에 데뷔하고자 노력을 기울인 랭보는 결국 베를렌의 초청을 받게 되고, 이 둘의 인연은 열정적이면서도 파괴적인 사랑으로 이어진다. 하지만 둘의 관계는 베를렌이 랭보에게 권총을 쏘며 파국을 맞이한다. 베를렌과 함께한 2년간의 체험은 1873년 가을 브뤼셀에서 출판된 『지옥에서 보낸 한철』에 남아 있다. 1874년 이후 랭보는 유럽 전역을 떠돌았는데, 그의 또 다른 산문시집 『일뤼미나시옹』에 담긴 시들은 이때 쓴 것으로 추측된다.
이후 랭보는 문학을 내려놓고 1870년대 후반 아프리카로 건너가 커피, 무기 등을 거래하는 상인으로 일했다. 1891년, 무릎에 병을 얻어 프랑스로 돌아와 다리 절단 수술을 받았으나 그로부터 몇 달 뒤, 37세의 나이로 사망하여 샤를빌 묘지에 안장되었다.