코드는 한참 전에 짰는데, 요상한 버그 고치느라 고생했고,

그거 잡은 후에 코랩 A100 or TPU로 돌리려고 했는데 코랩새끼 ㅈㄴ 까탈스럽네.

카타고를 코랩에서 돌리는 예시 있던데, 나는 최신버전&최소설치로 돌리려고 내 방법으로 했는데, 암튼 ㅈㄴ 고생했다.

TensorRT가 2배 내외 더 빨라서 그거로 하려고 했는데, TensorRT는 포기. 뭐만 하면 타이밍 캐쉬 새로 만든다고 4분 이상 잡아먹음..

OpenCL은 진작에 성공은 했는데, 뭐 설치 안 하고 하려고 했는데, 설치하게 되고. OpenCL도 뭐만 하면 새로 튜닝한다고 2분 이상 잡아먹고.

katago에 rwx 권한 다 줬는데, 이 새끼 왜 구글드라이브에 튜닝&캐쉬 저장을 안 하지. log는 저장하던데.

암튼.

뭐 이런 거야.

lizzieyzy에 accuracy 뭐 있던데, 나는 lizzieyzy 돌리기 싫어서 뭐 방법 없을까 해서 찾아봤더니

katago analysis engine이 있더라고. 간단한 예제랑. 그 예제 변형시켜서 간단히 만든거야.

파이썬 쫌만 알면 아무나 다 만듦. 이 글 맨 끝에 소스 붙여 놓을 테니까 필요하면 쓰고.

위의 첫번째 분석은

유명하지만 안 유명한 기보 + 최신 15B + 100visits

조건으로 분석한 거야.

no : 수순

bw : black or white

b_move : best move 지점

m_move : match move 지점 (사용자가 착수한 지점. 선수가 착수한 지점)

b_visits : best move 지점에 할당된 총 visits량

m_visits : match move 지점에 할당된 총 visits량

hitrate : m_visits / b_visits * 100 (0일 수도 있고, 100보다 클 수 있음. 100보다 큰 경우 합산할 때는 100로 함)

b_acc : black accuracy

w_acc : white accuracy

winrate : 승률 (근데, 이 값은 쫌 이상함)

b1 w1 : 흑과 백의 1순위 지점 적중률

b3 w3 : 흑과 백의 3순위 이내 지점 적중률 (1순위+2순위+3순위)

b8 w8 : 흑과 백의 8순위 이내 지점 적중률 (1순위+2순위+3순위+...+7순위+8순위)

저 기보는 사람vs인공 기보고, 15블럭 100visits로 ㅈㄴ 널널하게 돌렸는데도 인공 특성을 확연하게 잡아냄.

참고로 Lizzieyzy에서 Accuracy라는 용어를 사용하는데, 일치율 정도로 해석하면 되겠는데,

좋은 통계 지표지만, b3 w3 지표와 비슷비슷한데 월등하게 좋은 지표로 과대 인식되면 안 됨.

Accuracy만 보는 것보다는 b1+b3+b8 지표를 함께 보는 게 그 바둑을 선수들이 어떻게 뒀는지 이해하는데 더 좋음.

129수까지 일치율 93%. 3순위 이내 적중률 90%.

15b 100visits 로 아주 대충 돌렸는데도 인공 특성이 잘 잡힌 사례.

커제 vs 알파고 1국 + 15b + 500visits

커제가 굉장히 잘 둬서 하사비스가 sns에 커제 ㅈㄴ 잘 두고 있다고 언급했던 대국이었던 것 같은데, 그래프는 저렇고.

봐보면, 189수까지 알파고는 3순위 이내 적중률이 90% 이상이었음.

근데, 이게 18b 5000visits로 돌려보면, 많이 낮아짐. 그건 이따가 다시.

289수까지 일치율 90%.

근데, 90%라는 일치율에 비해 1순위 적중률은 54% 밖에 안 됨. 단, 289수까지 진행됐으므로 좀 감안해줘야 함. 171수까지 60%였으니까.

이건

알파고  vs 이세돌 1국 + 15b + 500visits

커제 때보다 알파고가 확실히 3순위 이내 적중률이 떨어짐.

커제 때는 189수까지 90% 이상이었는데, 알파고 1국은 78수 시점에 이미 70%대로 떨어졌음.

이건 알파고 2국 분석한 후에 그래프를 딥마인드가 올린 2국 그래프와 비교해본 것.

분홍색이 승률인데,

얘는 43%에서 시작하는데 알파고는 50%에서 시작

얘는 105수 시점에 이미 거의 90% 근접했는데, 알파고는 105수 시점에 75% 내외였음.

근데, 알파고는 초반에 일치율이 60%대로 팍 떨어졌음.

이게 15b 500visits라서 부정확할 테지만, 저 상황에 왜 떨어졌는지 분석해보면 그것도 재미.

초반에는 좀 알파고가 방황하더니 기어이 일치율 80%대까지는 왔지만, 1순위 일치율이 너무 안 좋음.

이세돌vs알파고 1국 + 18b + 5000visits

18b 5000visits로 돌린 결과가 15b 500visits로 돌린 것보다 알파고 일치율이 더 떨어짐.

뭐 저러하다는.

이건

신진서vs구쯔하오 중국 2023년 갑조리그 15라운드 + 18b + 5000visits

우연히 유튜브에 김성룡 유트브가 떴는데 이 대국이 떴는데, 일치율이 90% 육박했다고 해서 돌려봄.

헐!!!!!!!!!!!!!!!!!!!

근데 더 돌려보면

일치율은 70%로 떨어졌는데, 3순위 일치율은 거의 90%에 가까움.

이 말은 3순위 이내를 88% 수준으로 잘 뒀지만, 몇몇 수들을 훨씬 떨어지는 수를 둬서 일치율이 70%로 밀려났다는 해석이 나옴.

절예는 이 기보 분석을 120수 시점까지 90%라고 했다던데 절예 visits를 아는 게 중요. 500visits 돌리고 90%라고 말했을 수도 있음.

알파고 3국 + 18b + 5000visits

일치율은 70수 시점까지 75%인데, 1순위 일치율이 57%나 됨.

이 말은 1순위는 좀 쳤지만, 몇몇 니미조까튼 수들을 뒀다는 해석이 나옴.

알파고 3국을 18b 500visits로 돌려보면, 100수 이전까지 일치율이 10% 내외 더 높게 나옴.

커제vs알파고 1국 + b18 + 5000visits

위에서 했던 건 b15+500visits

15b+500visits 때보다 좀 떨어지기는 했지만, 많이는 아님.

신진서vs구쯔하오 최근 대국 + 18b + 5000visits

154수까지 3순위 일치율을 87% 찍음.

이게 어떤 뉴럴넷을 사용했고, 얼마나 visits를 돌렸는지에 따라서 좀좀 다름.

아무튼 그러하다는. 100% 신뢰란 읍음. 그래도 70% 이상 신뢰할만하지 않을까 싶음.

여러가지로 ㅈㄴ 헷갈려서 실수가 많았을 수 있음.

코드는 붙이니까 쓰기 제한 걸려서 첨부했음. 확장자 txt를 py로 고쳐야 함.