상·하림으로 나누어진 숲은 일제강점기와 산업의 격동기를 거치면서 더욱 훼손되었다. 가장 큰 훼손 원인은 농경 활동과 주거지 마련이다. 함양상림에서 이러한 흔적을 지금도 찾을 수 있다. 숲의 안쪽 농경지는 상림 숲과 맞닿아 있다. 주민들이 논을 일구면서 야금야금 숲의 경계를 먹어왔을 것이다. 지금 상림 안내소가 있는 주차장과 잔디밭, 토요무대 자리도 예전에는 모두 논이었다. 분수대가 있는 곳과 연밭공원도 마찬가지이다. 분수대와 상림운동장 주변, 상림 북쪽 물레방아 근처에는 주거지가 들어섰다. 역사인물공원과 상수원 저수지 근처는 농경지였다. 숲과의 경계를 따라 심어진 아카시나무와 산수유가 농경의 흔적을 말해주고 있다. 상림운동장은 일제강점기에도 있었다고 한다. 군사 목적으로 숲을 베어내고 만든 것으로 짐작한다. 해방 이후에는 군민 체육활동을 위한 운동장으로 쓰였다. 지금 남아있는 상림의 길이는 1.6km, 폭은 80~200m이다. 하늘에서 보면 좁고 긴 띠 모양으로 남쪽 가운데가 뻥 뚫린 열쇠 모양을 하고 있다.

함양상림 숲속에는 30여 년 전만 하더라도 사람들이 집을 짓고 살았다. 상림운동장 주변, 남쪽 화장실 북쪽 운동기구 있는 곳, 상림 북쪽 끝 물레방아 있는 곳으로 크게 3곳이다. 대략 20여 가구도 넘는 집들이 상림 숲속에 들어있었다. 1945년 일제가 항복하자 일본의 속박에서 풀려나 귀향한 사람들이 숲에 들어왔다. 그 이전에도 상림 숲에 사람이 살았는지는 알 수 없다. 초라한 움막을 짓고 살기 시작했다. 이곳에 자리를 잡고 살았던 사람들은 숲의 공덕을 크게 입고 살았다. 숲을 찾는 주민들을 상대로 상거래 행위를 할 수 있었고, 물레방아를 이용해 생산 활동을 할 수 있었다. 또 숲에서 나는 땔감이나 도토리 등 부산물을 손쉽게 이용할 수 있었다.

상림운동장 주변은 예부터 읍내에 가까운 장소라 사람들의 출입이 잦은 곳이었다. 이곳은 그만큼 숲이 제일 많이 훼손되었다. 1981년의 사진에 슬레이트로 지붕을 인 집들이 나타난다. 지금 남쪽 화장실 근처로 5~6가구도 넘어 보인다. 예전에 논이었던 이곳은 지금 개울을 넓게 내고 주변에는 나무를 심어 공원처럼 가꾸어 놓았다. 그 안쪽에는 주차장과 편의시설이 들어섰다. 남쪽 식당가 도로 건너편 숲속에도 집들이 있었다. 초선정이라는 정자가 있던 근처이다. “위성집, 경상도집, 옴팍집, 위림집이라는 식당가이다. 이곳에서는 다슬기, 백숙, 부침개, 잔치국수, 도토리묵, 막걸리 등을 팔았다”(양기영 구술, 2018). 상림에는 참나무가 많으니 재료를 구하기 쉬웠다. 이 중에서 위성집은 도로 건너로 옮겨 지금도 남아있다. 남쪽 화장실 북쪽 운동기구 있는 곳에는 예전에 창호지를 만드는 사람이 살았다. 기어서 들어가고 기어서 나올 정도의 조그만 초가집이었다. 이쪽에도 꽤 여러 가구가 있었다고 한다. 지금 분수대와 조그마한 물레방아를 만들어 놓은 장소이다. 여기 숲속 개울물을 이용하는 물레방아를 설치했다. 그 동력으로 종이 으깨는 기계를 돌렸다. 숲속으로 흐르는 풍부한 물길 덕분에 이런 활동을 할 수 있었다.

상림 북쪽 끝에도 물레방아가 있었다. 이곳은 방아를 찧기 위한 전통적인 물레방앗간이었다. 돌을 쌓아서 조그맣게 지은 건물이 있었다. 죽장마을에 사는 할머니는 이 물레방앗간을 이용해 쑥떡을 해 먹었다고 한다. 물레방아로 떡을 치니 쑥 줄기가 씹히고 했던 기억을 들려주었다. 상림 숲속의 개울이 시작되는 이 물길은 도천마을 솔숲 아래에 있는 위천보에서 끌어들였다. 이 물길은 언제 시작되었는지는 정확히 모르지만, 아주 오래전부터 있었을 것으로 짐작된다. 예전 물레방앗간이 있었던 조금 아래에 지금은 모형의 물레방앗간이 만들어져 있다.

이곳은 사람들이 ‘신거리’라고 불렀다. 예전에 사람들이 많이 살았다고 한다. 여기에는 기생 술집이 두어 군데 있었다. 꽤 인기가 있었다고 한다. 예전에 도덕고개로 넘어가는 삼거리에 주막이 있었다. 지금 유호인 공원으로 정자를 만들어 놓은 그곳이다. 이곳에 기생 술집이 들어선 이유일 수도 있지만, 숲에서도 한적하고 외떨어진 장소성이 더 큰 이유가 아닐까 싶다.

예전에는 상림 숲속으로 버스가 다니는 도로가 나 있었다. 이 도로는 상림 남쪽 상림 표지석 있는 들머리에서 함양척화비 있는 곳을 지나 중앙숲길을 따라 북쪽 숲에서 다시 강둑을 따라 지나간다. 함양읍에서 병곡·백전면을 잇는 길이다. 아마도 일제강점기에 난 것으로 짐작된다. 이 도로는 1960년대 위천 강둑에 석축을 쌓고 나서 그 위로 옮겼다. 1990년대 이후에 다시 위천 건너편으로 완전히 돌리게 되었다. 지금 함양남서로이다. 뽀얀 먼지가 사라진 중앙숲길은 사람들이 가장 많이 다니는 주요 숲길이 되었다. 강둑을 따라 이어졌던 도로 위로는 아스콘 포장이 된 상림 둘레길 산책로가 만들어졌다.