인공지능 및 로봇은 생산성을 높여주는 수동적 역할에 그치지 않고 경제 분석이나 양형 판단, 군사행동 등 자율적인 학습 및 판단 능력을 갖추어 가고 있다. 이렇게 인공지능의 기술적 발전은 계속되고 있으나 사람이 인공지능의 행동이나 판단을 어떻게 생각하고 평가하는지에 관한 연구는 많지 않다. 이에 본 연구는 사람들이 인간 행위자와 인공지능 행위자의 윤리적 선택을 판단할 때, 서로 다른 인지적 과정을 사용한다는 새로운 가설을 제시하였다. 구체적으로 사람들은 인간 행위자의 윤리적 선택을 판단할 때, 빠른 사고(system 1)와 느린 사고(system 2)를 모두 사용하지만, 인공지능 행위자의 윤리적 선택을 판단할 때는 빠른 사고(system 1)만을 사용하는 단일 과정(one process)을 사용할 것이라고 예상하였다.
본 연구의 가설을 검증하기 위해 실험 1에서는 행위자에 따른 갈등 수준에 차이를 살펴보고, 실험 2에서는 발생 가능성을 높은 조건과 낮은 조건으로 조작하여 행위자에 따라 발생 가능성에 영향받는 정도에 차이가 있는지 살펴보았다. 실험 3에서는 작위·부작위를 조작하여 행위자에 따라 작위·부작위에 영향받는 정도에 차이가 있는지 살펴보았다.
실험 1에서 실험참여자들은 인간이 행위자인 딜레마 시나리오를 읽고 공리주의와 의무론 중 더 옳다고 생각하는 것을 선택하였고, 같은 시나리오와 질문에 행위자가 인공지능인 조건에도 응답하였다. 그리고 행위자에 따라 갈등을 느끼는 정도에 차이가 있는지 살펴보기 위해 갈등 정도를 평정하였다. 그 결과, 사람들은 인간보다 인공지능이 행위자일 때, 공리주의적 선택이 더 옳다고 응답하였고, 행위자가 인간일 때보다 인공지능일 때 낮을 갈등을 경험하였다. 실험참가자의 판단 근거를 질적으로 분석한 결과, 인공지능보다는 인간이 행위자일 때, 그리고 공리주의적 선택을 한 사람들보다 의무론적인 선택이 옳다고 응답한 사람들이 발생 가능성에 대해 더 많이 언급하였다. 그리고 이러한 응답은 행위자가 인공지능일 때보다 인간일 때 더 많이 관찰되었다.
실험 2에서는 실험 1에서 관찰된 발생 가능성을 높은 조건과 낮은 조건으로 조작하여 사람들이 행위자에 따라 발생 가능성에 영향을 받는 정도에 차이가 있는지 살펴보았다. 실험참여자는 발생 가능성이 높은 조건 혹은 낮은 조건에 무작위 할당되었고, 인간이 행위자인 딜레마 시나리오와 인공지능이 행위자인 딜레마 시나리오를 읽고 공리주의와 의무론 중 더 옳은 것을 선택하였다. 그 결과 행위자가 인간일 때보다 인공지능일 때 더 많은 사람이 공리주의적 선택을 더 옳다고 판단하였다. 그리고 발생 가능성은 인간 행위자의 윤리적 선택을 판단할 때는 영향을 미쳤지만, 인공지능 행위자의 윤리적 선택을 판단할 때는 영향을 미치지 못하는 것으로 나타났다.
실험 3에서는 딜레마 판단에 영향을 미친다고 알려진 부작위 편향이 인공지능 행위자의 윤리적 선택을 판단할 때도 영향을 미치는지 확인해 보고자 하였다. 이를 위해 연구참여자는 행위자(인공지능/인간)가 이미 윤리적 선택(공리주의/의무론)을 내린 상황에서 행위자의 판단이 작위 혹은 부작위로 이루어졌다는 내용이 기술된 시나리오를 읽고 인간 행위자의 선택이 얼마나 옳다고 생각하는지 그리고 수용할만하다고 생각하는지 응답하였다. 그 후, 같은 시나리오와 질문에 행위자가 인공지능인 조건에 응답하였다. 그 결과, 행위자와 작위·부작위 간 중요한 상호작용이 관찰되었다. 인간 행위자가 의무론을 선택했을 때, 사람들은 작위보다는 부작위일 때 더 긍정적으로 평가하였다. 하지만 인공지능 행위자의 딜레마 판단을 평가할 때는 놀랍게도 작위·부작위 간의 차이가 없었다. 이러한 결과는 사람들이 인공지능 행위자의 윤리적 선택을 판단할 때 인간 행위자와는 다른 인지적 과정을 거친다는 것을 보여준다.
본 연구는 사람들이 인공지능 행위자의 윤리적 선택을 판단할 때, 인간과는 다른 인지적 과정을 거친다는 새로운 시각을 제시하였다. 이를 통해 인간과 인공지능의 상호작용이나 인공지능 윤리를 연구하기 위해서는 기존에 인간 행위자를 대상으로 확인된 심리적 효과나 현상이 인공지능에게도 적용되는지 확인하는 연구보다는 인간과 인공지능을 서로 독립적으로 인식하고 연구해야 한다고 제안하였다. 본 연구는 인간과 인공지능의 상호작용에 대한 이해와 다양한 영역의 인공지능 윤리지침 마련에 중요한 역할을 할 수 있을 것이다.