Q) 이딴 거 왜씀 ?

A) 작혼하다가 은탁가고 싶은데 실력이 ㅈ밥이라 걍 인공지능으로 뚫으려고 함.

 +) 구글링해봐도 이 논문 한국어로 요약된게 없어서 내가 만든다.

이미 ㅈ공지능이 바둑, 체스, 장기뿐만 아니라 도타, 스타2같은 게임까지 쳐먹었지만

마작은 위에 설명한 게임들보다 ㅈ공지능으로 정복하는게 어려우면 어려웠지 쉬운 게임은 아니다

마작이 다른 게임들보다 ㅈ공지능 만들기 어려운 이유

1. 한 판만 이기면 되는게 아니라, 최종적으로 이겨야한다.

   전술적으로 지는 것도 가능하기 때문에 여러판 진행하는 가운데 최종점수를 높히는 방향으로 진화를 해야함.

2. 나를 제외한 적대 player들의 13개, 패산의 70개 + (14-a)개의 패가 비공개이기때문에 예측을 해야함.

   바둑, 장기, 체스 등에서는 경험하지 못하는 문제

3. 치 퐁 캉 같은 ㅈ같은 시스템때문에 게임 중간중간에 예측하는 게임 트리가 매우 불안정함.

결론은 CNN(convolutional neural networks) 모델을 써서 프로 마작 player들의 패보를 기반으로 지도학습(Supervised)을 하고

Reinforcement learning(RL: 강화학습)을 통해서 혼자서 존나 두면서 진화했다고 한다.

-> 쉽게 말해서 일단 프로들 기보 흉내내게 만든 다음에 혼자서 시간과 정신의 방에서 수련함

   T.M.I - 프로들 기보 흉내만 내는 정도로는 아마추어한테도 개 쳐발림 (이유가 궁금하면 인공지능 공부하던가)

Suphx 만들면서 신경썻던 부분들

1. 이번판의 결과가 최종 스코어에 어떤 영향을 미칠지에 대해서 계산하는 부분.

2. 패산의 패와 상대방의 패를 예측하는 부분 (이게 씹 사기라고 한다)

※ This oracle agent is a super strong Mahjong AI due to the (unfair) perfect information access

위에가 원문인데 직역하면 이 예언자 에이전트는 퍼펙트한 정보 Access(예측)이 가능한 (unfair)치트급 슈퍼 스트롱 마작 AI 라고 적혀있음

3. Monte-Carlo tree 라고 게임 AI에서 경우의 수 계산하는 모델인데

그냥 쓰면 치, 퐁, 캉 때문에 실제 게임에서 연산하는데 시간을 많이 잡아먹어서 parametric Monte-Carlo policy adaptation(pMCPA)라고 지들이 개량했다고 함

그래서 Suphx는 총  5개의 모델로 되있음

Discard model = 뭐 버릴지 생각하는 세끼

Riichi model = 리치할지 말지 생각하는 세끼

Chow model = 치할지 말지 생각하는 세끼

Pong model = 퐁할지 말지 생각하는 세끼

Kong model = 캉할지 말지 생각하는 세끼

알파고는 ㅈㄴ 큰 하나의 모델로 되있거랑 비교하면 질보다 양인 듯

아마 처음에 ㅈㄴ 큰 하나의 모델로 했는데 그것보다 이게 훨씬 나았지 않았을까 예상해봄

Suphx의 Decision Flow(의사 결정 방법)

- 내가 화료가능할 경우

1. 마지막 라운드가 아니다 -> 승리 선언

2. 마지막 라운드다.

    1. 점수 계산했는데 승리 선언해도 꼴지다 -> 승리 선언 안함

    2. 3등이라도 가능하다 -> 승리 선언

- 내가 패산에서 패를 뽑았을 경우

화료함 -> 위에 내가 화료가능할 경우 참고

그 외의 경우 위에서 부터 순서대로 탐색

1. 안깡 가능하면 캉 모델님이 캉 할지말지 고민하고 안깡 한다면 -> 패를 뽑았을 경우로 돌아간다.

2. 가깡 가능하면 캉 모델님이 창캉 가능성을 포함해서 캉 할지말지 고민하고 가깡한다면 -> 패를 뽑았을 경우로 돌아간다.

3. 리치 가능할 경우 리치 모델님이 열심히 생각해서 리치할지 말지 고민함.

4. 폐기 모델님이 뭐 버릴지 고민함

- 다른 놈이 패를 버렸을 경우

1. 아무것도 할 수 없다면 아무것도 하지 않는다.

2. 론 가능하면 -> 내가 화료가능할 경우로 간다.

3. (치 퐁 캉) 가능하면 (치, 퐁, 캉) 모델들이 각각 confidence score(직역하면 자신감 점수)를 계산해서 알려준다.

※ Score가 가장 높은 모델의 선택을 택하거나 셋 다 낮으면 아무것도 안할 듯

실제로 마작을 두다보면 위의 경우의 수 말고는 없다. 모든 케이스 커버 가능

어떻게 보면 위의 순서도는 마작갤럼들한테는 너무 당연한 내용같을거지만

마작 ㅈ도 모르는 ㅈ공지능 연구원들한테는 아 게임이 이렇게 진행되는구나 알려주는 부분임

몇가지 궁금할 수 있는 부분

1. 이번판의 결과가 최종 점수에 어케 반영될지 존나 고민했다고 써있는데 왜 꼴지만 아니면 승리 선언하냐?

이미 승리 선언 가능하다는게 지가 원하는 결과대로 패를 구성했다는 거임. 마지막 라운드인데 꼴지면 꼴지를 면하는 패를 구성하는 중일텐데 ㅈ같은 패가 쯔모되면 걍 버린다는거 ㅈ공지능님은 다 계획이 있으시단다.

2. 안보이는 패들을 예측한다고 하는데 5개 모델이 각각 예측하는거냐?

맞는거 같음. 각각의 모델이 모든 패를 예측하는 건 아니고 각 모델들이 내 패 상황에 따라(중요) 추적하는 패가 따로 있는거 같음.

※ 아직 뒷부분 안읽어서 잘 모름 2편을 기다리라구