1945년에 태어났으며 본적은 정확히 알려져 있지 않다. 다만 그가 주로 성장했던 공간이 마장동 우시장 부근의 철도길 옆이었다는 것을 몇몇 시인들의 증언을 통해서만 알 수 있을 뿐이다. 김용직 시인의 흔적을 어느 정도 파악할 수 있는 시기는 그가 한양대에 입학한 후부터이다. 그는 한양대 국문과에서 박목월 시인을 만나고 윤석산, 박시교, 권달웅 시인 등을 만난다. 그리고 1970년 박목월 시인의 추천을 받아 「현대시학」에 시로 등단하게 된다.