디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

AI로 악플잡는 네이버·카카오, 남은 과제는?

IT동아갤로그로 이동합니다. 2023.04.07 19:50:21
조회 4333 추천 5 댓글 55
[IT동아 정연호 기자] 카카오(다음)와 네이버가 인공지능(이하 AI) 기술을 활용해, 뉴스의 악성 댓글을 자동으로 찾아 제재하는 시스템을 만든다. 악성 댓글의 탐지와 제재 능력이 아직 완전하지는 않지만, 업계는 AI 기술이 고도화되면서 이 시스템의 성능이 꾸준하게 발전할 것으로 전망한다.

국내 대표 포털 사이트 운영사인 카카오와 네이버는 ‘악성 댓글 방지’를 위한 정책을 만들고 있다. 많은 사람이 포털 사이트 뉴스의 댓글 때문에 피해를 본다는 비판이 거세졌기 때문이다.

그 일환으로 카카오와 네이버는 포털 사이트의 악성 댓글을 발견하고, 보이지 않게 가리는 AI봇(각각 세이프봇, 클린봇)을 개발했다.


카카오의 세이프봇, 출처=카카오



카카오 ‘세이프봇’은 다음과 카카오탭의 뉴스 댓글을 분석한다. 욕설/음란/불법 내용의 댓글을 발견하면 가리고, 신고한다. 신고된 댓글이 운영정책을 위반했다면, 카카오가 이를 삭제한다.


욕설과 비속어를 포함한 댓글 수 추이, 출처=카카오



세이프봇은 실제로 악성 댓글을 잡는 데 효과가 있다. 카카오는 “세이프봇 적용 전인 2020년과 적용 후인 2021~2022년의 월평균 수치를 비교하면, 욕설이나 비속어를 포함한 댓글이 3분의 1로 줄었다. 이용자가 신고한 악성 댓글도 12분의 1로 감소했다”고 밝혔다.

세이프봇의 정확도를 높이기 위해서, 카카오는 혐오 표현의 정의, 원칙, 판단 기준을 담은 ‘코딩북’을 만들고 있다. 전문성을 갖춘 외부 연구진이 이 과정에 참여한다. 코딩북을 학습한 세이프봇은 여러 서비스에 순차적으로 적용될 예정이다.


네이버의 클린봇, 출처=네이버



네이버 클린봇도 웹툰, 뉴스의 악성 댓글을 찾고, 가린다. 특징은 댓글의 맥락을 읽는다는 것이다. 비속어를 포함하지 않는 악성 댓글(혐오 표현, 성적 표현)은 클린봇이 맥락을 읽어서 잡아낸다.


네이버 클린봇이 잡은 문장(1, 3), 잡지 않은 문장 (2, 4), 출처=네이버



네이버가 공개한 클린봇의 원리 자료를 살펴보면, 클린봇은 ‘(1)너 같은 쓰레기 같은 놈은 쓰레기통에나 들어갔으면 좋겠다’와 ‘(2)사람들이 쓰레기를 쓰레기통에다가 좀 버렸으면 좋겠다’의 차이를 이해한다. (1) 문장이 사람을 쓰레기에 빗대어 모욕한다는 점, (2) 문장이 쓰레기의 사전적인 의미를 사용한다는 점을 안다는 뜻이다.


클린봇을 도입한 이후로 악플 생성 비율과 악플 노출비율 추이, 출처=네이버



클린봇도 역시 네이버의 악성 댓글 감소에 기여했다. 지난 3월, 네이버는 “AI 클린봇을 도입한 뒤 악성 댓글 생성 비율이 2020년 26.5%에서 2023년 초 16.7%로 줄었다. 다른 이용자가 악성 댓글을 보는 비율은 2019년 21.9%에서 2023년 초 8.9%까지 떨어졌다”고 밝혔다.

다만, AI 업계는 악성 댓글을 제재하는 AI봇의 완성도가 아직 낮다고 말한다. AI봇은 비속어를 포함한 악성 댓글을 잘 찾아낸다. 하지만, 문맥을 이해하지 못해서 혐오표현을 제재하지 못하는 경우가 많다.

AI봇이 비속어를 포함하지 않는 혐오 표현을 실제로 잘 제재하는지 확인하기 위해서, 네이버 뉴스 페이지에서 혐오 표현의 주요 공격대상이 되는 ‘여성’과 관련된 기사를 확인해봤다.

클린봇은 “권리는 주고 의무는 나몰랑”, “국민 절반인 여자는 머리가 모자라고 신체가 나약한 팔X이들이라 이런 조치가 필요하다는 거냐”같은 혐오 표현을 제재하지 않았다. 반면, “사회에 도움이 1도 안 되는 기생충 새X들 왜 살까 도대체”, “적극적으로 대X리 깨고 싶네”같은 비속어가 포함된 댓글을 제재했다.

네이버 관계자는 “혐오나 비하, 차별적인 표현에 대한 기준은 개인마다 다르다. 네이버가 이 기준을 임의로 정하는 것은 어렵다”면서 “특정 단어는 문맥에 따라 차별 표현이 될 수 있는데, 이러한 단어나 문장을 모두 잡아내는 것은 쉽지 않다. 이를 해결하기 위해서, 네이버는 한국인터넷자율정책기구(KISO)에서 발표한 혐오 표현 가이드라인을 따르고 있다”고 말했다.

다음 뉴스 페이지에서 확인한 여성과 관련된 기사의 댓글도 마찬가지였다. 세이프봇은 “여자는 일을 진짜 못한다. 젊은 여자는 더 심각하다. 업무 배우는 건 관심 없다”, “여성임원이 많아야 하나요?”와 같은 혐오 댓글을 제재하지 않았다. 반면, “넘어가는 X이 문제지”, “손가락을 잘X버려라”처럼 노골적인 욕설이 있는 댓글들을 제재했다.

전문가들은 AI봇이 여러 종류의 악성 댓글을 잡아내려면 다양한 데이터를 학습해야 한다고 강조한다. 현재 AI봇은 특정 욕설이나 멸칭을 주로 학습한다. 그래서, 이러한 표현이 담긴 문장만 제재하는 것이다. 인터넷에 만연한 여러 혐오 표현을 학습하면, AI봇은 다양한 악성 댓글을 잡아낼 수 있다.

카카오와 네이버는 AI봇의 성능을 고도화하기 위해서 다양한 노력을 할 것이라고 입장을 전했다. 카카오 관계자는 “사람들이 안전하게 서비스를 이용할 수 있도록, 이용자의 다양한 의견을 듣고 검토해 세이프봇 기술을 고도화할 계획이다”라고 말했다. 네이버 관계자는 “AI봇의 성능을 개선하기 위해서 혐오와 차별 표현 데이터를 많이 확보하고, AI 모델을 발전시킬 것이다”라고 했다.

글 / IT동아 정연호 (hoho@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ 구글·네이버 위협하는 딥엘(DeepL) 번역기, 한국어 버전 품질은?▶ 해외여행에서 외국어 소통, 번역앱으로 이렇게![이럴땐 이렇게!]▶ 인공지능, 검색광고 대행에 콘텐츠도 만들어주는 시대 온다



추천 비추천

5

고정닉 1

43

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 가족과 완벽하게 손절해야 할 것 같은 스타는? 운영자 24/06/24 - -
3972 업무 문화 혁신 중, KB국민은행은 ‘애자일(Agile)에 진심’이었습니다 IT동아갤로그로 이동합니다. 02:00 8 0
3971 [스케일업] 파나띠꼬 [1] BM분석 – 선택ㆍ집중 통한 기업과 제품 정체성 구축 필요 IT동아갤로그로 이동합니다. 06.26 18 0
3970 [스케일업] 말랑탱크 [1] BM분석 “눈 건강 솔루션으로 틈새 시장 개척, 방향성 유지가 중요” IT동아갤로그로 이동합니다. 06.26 17 0
3969 브이디컴퍼니 x 골프존파크 “서빙로봇과 24시간 매장으로 변신” IT동아갤로그로 이동합니다. 06.26 21 0
3968 [리뷰] 조명을 더한 감성 스피커 ‘브리츠 BZ-CML200’ IT동아갤로그로 이동합니다. 06.26 542 1
3967 [자동차와 法] 차량 결함으로 의심되는 급발진 교통사고의 문제점 IT동아갤로그로 이동합니다. 06.25 39 0
3966 [인터뷰] 실사용 의료데이터 분석으로 성공적인 임상연구 돕는 ‘메디플렉서스’ IT동아갤로그로 이동합니다. 06.25 47 0
3965 [자동차 디자人] 프리미엄 소형차 ‘MINI 디자인’ 이끄는 ‘올리버 하일머’ IT동아갤로그로 이동합니다. 06.25 791 0
3964 [칼럼] IPO 열풍 속 IT 인프라 변화, 클라우드 전환의 필요성과 전략적 접근 IT동아갤로그로 이동합니다. 06.25 44 0
3963 ‘성능? 호환성?’ AI(인공지능) PC 시대, 선택의 기준은? IT동아갤로그로 이동합니다. 06.25 524 0
3962 엔슬파트너스·콴티파이 “유망 초격차 10대 스타트업 적극 육성” IT동아갤로그로 이동합니다. 06.25 35 0
3961 [혁신스타트업 in 홍릉] 두뇌싱긋연구소 “게임으로 노년층에게 즐거운 삶을” IT동아갤로그로 이동합니다. 06.25 37 0
3960 [SBA x IT동아] 넷스파 “폐어망 재활용으로 해양 폐기물 문제 해결에 기여하겠습니다” IT동아갤로그로 이동합니다. 06.25 37 0
3959 [뉴스줌인] 성능은 UP, 가격은 동결, ‘갤럭시 A35’ 이모저모 [3] IT동아갤로그로 이동합니다. 06.25 847 1
3958 [스케일업] 운약근답올핏 [1] “시장·영업·스케일업 전략 명확하게 제시하라” IT동아갤로그로 이동합니다. 06.24 51 0
3957 업비트·빗썸, 가상자산 투자대회 개최 '투자 심리 회복 기대' IT동아갤로그로 이동합니다. 06.24 53 0
3956 뷰소닉 데이빗 첸 “한국 빔프로젝터 시장, 우리 경쟁력 높일 기회의 땅” [3] IT동아갤로그로 이동합니다. 06.24 797 0
3955 브이디컴퍼니 x 타임빌라스 수원 “대형 매장 서빙, 로봇으로 거뜬히” [2] IT동아갤로그로 이동합니다. 06.24 844 1
3954 [정구태의 디지털자산 리터러시] 디지털자산 갈라파고스 탈출을 위한 제언 2. 실명계좌 제도 개선 IT동아갤로그로 이동합니다. 06.24 45 0
3953 헷갈리는 우회전 교통법규 숙지하기! [이럴땐 이렇게!] [13] IT동아갤로그로 이동합니다. 06.24 2424 3
3952 [르포] ‘페라리’ 전동화 전초 기지 ‘e-빌딩’ 현장 살펴보니 IT동아갤로그로 이동합니다. 06.21 110 0
3951 AWS 지용호 마케팅 총괄 “클라우드 강자 AWS, 생성형 AI 혁신도 주도” IT동아갤로그로 이동합니다. 06.21 113 0
3950 차트분석 도구 ‘트레이딩뷰’ 파고들기 - 16 IT동아갤로그로 이동합니다. 06.21 119 0
3949 [생성 AI 길라잡이] 대화형 생성AI도 골라서 쓰자, GPT와 클로드, 제미나이 IT동아갤로그로 이동합니다. 06.21 4401 5
3948 [농업이 IT(잇)다] 마늘 분류에 비전인식 AI 접목한 '젠틀파머스' IT동아갤로그로 이동합니다. 06.21 111 0
3947 “NFT가 가상자산?” NFT 법적 성격 판단 기준 나왔다 IT동아갤로그로 이동합니다. 06.20 727 0
3946 삼성전자, 빌트인 가전 브랜드 '데이코' 전시·판매 확대로 B2C 시장 공략 [2] IT동아갤로그로 이동합니다. 06.19 2466 0
3945 KIAT, 광주 가전산업 위기 극복 위해 기업과 머리 맞대 IT동아갤로그로 이동합니다. 06.19 125 0
3944 [스케일업] 두디스 [1] BM분석 - "유튜브 영상 분석 플랫폼, 첨예한 접근 필요" IT동아갤로그로 이동합니다. 06.19 125 0
3943 브이디컴퍼니 x 향촌흑염소 "서빙로봇, 대형 요식업 매장에 어울려” IT동아갤로그로 이동합니다. 06.19 143 0
3942 [월간자동차] 24년 5월, 국산 ‘기아 카니발’·수입 ‘테슬라 모델 3’ 판매 1위 IT동아갤로그로 이동합니다. 06.19 681 0
3941 초기 스타트업에 대한 전문적·객관적 평가, '상품성 진단' 들여다보니 IT동아갤로그로 이동합니다. 06.19 116 2
3940 AKG, 라이프스타일에 맞춘 새로운 N 시리즈 ‘N5·N9 하이브리드’ [1] IT동아갤로그로 이동합니다. 06.18 2099 0
3939 세일즈포스, 월드투어 코리아서 AI CRM의 현주소·영향력 입증 IT동아갤로그로 이동합니다. 06.18 109 0
3938 뜨거운 미국 증시 시장, 투자 전 확인해야 될 것들 IT동아갤로그로 이동합니다. 06.18 109 0
3937 [신차공개] ‘캐스퍼 일렉트릭’ 티저 공개·’뉴 레인지로버 벨라’ 사전계약 실시 IT동아갤로그로 이동합니다. 06.17 126 0
3936 ‘인공지능’ 처리하는 AI PC 시대 개막, PC 시장이 움직인다 IT동아갤로그로 이동합니다. 06.17 112 0
3935 [정구태의 디지털 자산 리터러시] 디지털자산 갈라파고스 탈출을 위한 제언 1. 법인참여 허용 IT동아갤로그로 이동합니다. 06.17 113 0
3934 [스케일업] 스크램블러 [1] BM 분석 “뷰티? 스토리테크? 선택과 집중이 필요” IT동아갤로그로 이동합니다. 06.17 115 0
3933 [리뷰] 과감한 디자인 속 탄탄한 기본기, 에이수스 터프 게이밍 F16 IT동아갤로그로 이동합니다. 06.17 952 2
3932 [주간투자동향] 고피자, 1000만 달러 규모 투자 유치 IT동아갤로그로 이동합니다. 06.17 110 0
3931 음향기기, 물에 빠졌다면 이렇게![이럴땐 이렇게!] [1] IT동아갤로그로 이동합니다. 06.17 1151 3
3930 [생성 AI 길라잡이] 갤럭시 AI 활용하기 - '서클 투 서치' IT동아갤로그로 이동합니다. 06.14 209 0
3929 [시승기] 원형 OLED 탑재·차체 키워 7년 만에 돌아온 ‘뉴 미니 컨트리맨’ IT동아갤로그로 이동합니다. 06.14 187 0
3928 루나레이크·애로우레이크로 이원화된 인텔 CPU, 라인업 구분은? IT동아갤로그로 이동합니다. 06.14 192 0
3927 금융위원회 “가상자산 사업자 영업 종료 규제 강화한다” IT동아갤로그로 이동합니다. 06.14 824 0
3926 서울 중구-동국대 캠퍼스타운, 대학과 지역이 함께 고민하는 자원순환 문제 IT동아갤로그로 이동합니다. 06.14 138 0
3925 [SBA x IT동아] ‘마이크로바이옴’으로 보다 나은 삶 만들 것, 윤여민 메가랩 대표 IT동아갤로그로 이동합니다. 06.14 131 0
3924 [스타트업리뷰] 건설인력 노무관리 원 클릭 시스템, 웍스메이트 ‘가다오피스’ IT동아갤로그로 이동합니다. 06.14 132 0
3923 [농업이 IT(잇)다] 네오프로틴 “노인 건강의 핵심은 근력 개선, 해법은 마육 단백질에 있습니다” IT동아갤로그로 이동합니다. 06.14 126 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2