이 연구는 디지털 기술 도입 이후 영상 콘텐츠 제작에서 다양한 방식으로 이용되고 있는 자막이 여러 가지 표현기법에 따라 이용자의 정보처리과정에 어떠한 영향을 미치는지 분석함으로써 정보를 전달하는 영상을 시청할 때 이용자의 인지적 처리를 강화할 수 있는 자막의 유형을 탐색하였다. 자막이 시각 언어로써 이용자에게 미치는 인지적 영향과 멀티미디어 영상의 구성요소로써 이용자의 관여 발생과 인지적 영향에 미치는 과정을 함께 살펴보았다.
본 연구에서는 선행연구를 토대로 자막의 유형과 표현기법을 정리하였다. 선행연구에서 논의된 표현기법 중 자막 내용, 자막 양, 청각정보 형태, 문장 형태가 이용자에게 미치는 효과를 알아보고자 하였다. 특히 영상의 시각 채널로 전달되는 시각 언어인 자막은 청각 언어와의 중복 수준에 따라 다른 효과를 낼 것이라고 보았다. 이를 기반으로 먼저 인지적 정보처리과정의 개념과 제한된 용량 모델에 근거해 영상의 구조적 복잡성과 기존 기억 인출 여부에 영향을 주어 재인과 회상에 차이를 일으킬 것이라고 예측했다. 이를 검증하기 위해 우선 음성 정보의 중복 수준에 따라 자막 내용과 자막 양이 달라질 수 있다는 점을 반영해 〈실험 1〉을 수행하였다. 〈실험 1〉에서는 무자막 조건일 때와 비교를 포함해 자막 내용과 자막 양에 따른 인지적 영향의 차이를 알아보았다. 다음으로 자막이 있는 조건에서 시각 언어와 청각 언어의 결합 방식과 시각 언어의 형태에 따른 구체적인 차이를 알기 위해 청각정보 형태와 자막 형태가 미치는 인지적 영향의 차이를 살펴보는 〈실험 2〉를 수행하였다. 또한 미디어 풍부성 이론에 근거해 자막이 미디어 풍부성을 가진 양식에 해당할 수 있는지를 확인하기 위하여 관여 발생에 미치는 영향과 관여가 인지적 영향에 미치는 역할을 함께 검증해보았다. 마지막으로 인구통계학적 속성의 차이가 자막의 표현기법에도 영향을 미치는지 알아봄으로써 자막의 표현기법에 따른 효과에서도 성별과 연령대에 따른 집단의 차이가 존재할 수 있는지를 확인해보았다.
분석 결과 첫째, 자막 내용의 차이는 이용자의 재인에 영향을 미치는 것으로 나타났다. 특히 자막 유무에 따른 차이보다는 자막 내용이라는 구체적인 조건에서 정보처리과정에 차이가 있음이 드러났다. 정보전달형 자막과 의견개입형 자막 사이, 그리고 무자막과 의견개입형 자막 사이에서 재인에 유의미한 차이가 있었다. 의견개입형 자막에서는 가장 낮은 수준의 재인이 나타났다. 둘째, 청각정보 형태와 자막 형태의 조합에서는 상호작용 효과가 나타났다. 특정한 청각정보 형태나 자막 형태에 따른 인지적 영향보다는 청각정보가 음악일 때는 문장형 자막이, 음성일 때는 요약형 자막이 회상에 더 긍정적인 영향을 미치는 것으로 조사됐다. 셋째, 자막의 표현기법에 따른 관여도는 자막 형태에서만 발생하였고 자막의 표현기법이 인지적 영향에 미치는 과정에서 관여도의 매개효과는 모두 나타나지 않았다. 넷째, 인구통계학적 속성에 따라 성별과 연령대로 구분한 집단별 차이에서는 남녀 집단, 그리고 20대·30대 집단의 차이가 나타났다. 남성 집단에서는 자막의 표현기법에 따른 차이가 나타나지 않은 반면, 여성 집단에서 자막 내용에 따른 재인 차이, 그리고 청각정보 형태와 자막 형태의 상호작용 효과가 회상에서 나타났다. 20대는 자막 형태가 회상에 영향을 미쳤으며 자막 유무에 따른 재인의 차이에서 관여도의 완전 매개효과가 나타났다. 30대는 자막 내용, 또 청각정보 형태와 문장 형태에 따른 상호작용 효과가 재인과 회상 모두에서 나타나는 등 자막의 표현기법은 20대와 30대에서 서로 다르게 나타났다.
본 연구는 다음과 같은 함의를 갖는다. 정보를 전달하는 영상 콘텐츠에서 네 가지 자막 표현기법의 차이를 살펴보았을 때 첫째, 자막 유무보다는 자막 내용의 차이가 인지 과부하에 영향을 미칠 수 있다는 가능성을 드러냈다는 점에서 의미가 있다. 분석결과 무자막과 정보전달형 자막은 자막 유무의 차이가 있으나 둘 사이에는 유의미한 차이가 없었다. 반면 정보전달형 자막과 의견개입형 자막 사이, 그리고 무자막과 의견개입형 자막 사이에서는 재인에서 유의미한 차이가 나타나 자막과 청각 정보 중복 수준에 따른 자막 내용의 차이가 영상의 구조적 복잡성에 영향을 미칠 수 있는 것으로 볼 수 있었다. 둘째, 정보전달을 목적으로 하는 영상 콘텐츠의 경우 자막이라는 시각 언어가 청각 언어를 대체할 수 있다는 가능성을 보여주었다. 영상 이용자들은 청각 정보가 음악일 때와 음성일 때 모두 재인과 회상에서 차이를 보이지 않아 자막으로도 정보전달이 이루어졌음을 보여주었다. 셋째, 자막이 영상의 구성요소로써 미디어 풍부성을 통해 이용자에게 관여를 일으키는 양식이 될 수 있는지에 대한 검증을 시도해 보았다는 의미가 있다. 실험 참여자 전체 집단에서는 자막 형태만 관여 발생에 영향을 미치는 것으로 나타났으나 20대 집단에서는 자막 유무의 차이에 따른 관여도의 매개효과가 나타나는 것을 발견했다. 넷째, 이제까지 영상의 미디어 풍부성에 대한 선행연구들은 주로 양식 간 비교 방식으로 연구를 수행하였으나 본 연구는 영상 내 구성요소의 차이에 따른 효과를 분석하였다는 특성을 가진다. 다섯째, 본 연구는 인구통계학적 속성이 자막의 표현기법의 효과에 영향을 줄 수 있는 주요 변인으로 작동할 수 있다는 점을 확인하였다. 남녀 집단의 차이와 20대·30대의 차이가 존재한다는 가능성을 발견함으로써 새로운 영상 제작 방식에 대한 연구는 집단을 좀 더 세분화해서 볼 필요가 있음을 제시하였다.