최근 여러 자연어 처리 분야에서 사전 학습 언어 모델인 BERT를 활용하여 분석 과제에 최적화된 텍스트 표현을 추출하려는 연구가 활발하게 이루어지고 있다. 특히 BERT의 학습 방식 중 하나인 MLM(Masked Language Model)을 활용하여 도메인 정보 또는 분석 과제 데이터를 추가 사전 학습(Further Pre-training)하는 시도가 이어지고 있다. 하지만 기존의 MLM 기법이 채택한 무작위 마스킹을 사용하여 감성 분류 과제에서 추가 사전 학습을 수행하는 경우, 분류 학습에 중요한 단서가 되는 단어가 마스킹될 수 있다는 가능성으로 인해 문장 전체에 대한 감성 정보 학습이 충분히 이루어지지 않는다는 한계가 있다. 이에 본 연구에서는 무작위 마스킹이 아닌 단서 단어를 제외하고 마스킹하는 선택적 마스킹을 통해 감성 분류 과제에 특화된 추가 사전 학습을 수행할 수 있는 방법을 제안한다. 더불어 주변 단어를 선택하기 위해 어텐션 메카니즘(Attention Mechanism)을 활용하여 단어의 감성 기여도를 측정하는 방안도 함께 제안한다. 제안 방법론을 실제 감성 댓글에 적용하여 문장 벡터를 추론하고 감성 분류 실험을 수행한 결과, 제안 방법론이 기존의 여러 비교 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다.