디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34
조회 274 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,
단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,
고전적인 방식으로 URL을 수집해 보는 방식인데,
이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,
수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.
이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.
그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 영포티룩도 멋지게 소화할 것 같은 40대 스타는? 운영자 25/10/27 - -
AD 저녁 뭐먹지? 오늘의 메뉴 추천! 운영자 25/10/31 - -
296999 ASSA3d 나님 좀 집착 쩝니다. ㅠㅠ (크롬, 파폭) [2] [성대아싸]갤로그로 이동합니다. 12.01.03 112 0
296997 16진수를 딱 0x00 이런식으로까지 표시하는법 없을까요? [2] aaa(175.207) 12.01.03 106 0
296996 php에서 순서 문제임 [1] 니 코 가 뭐갤로그로 이동합니다. 12.01.03 34 0
296995 코드한줄짜기가그렇게힘듬? [1] ㅇㅇ(220.78) 12.01.03 104 0
296994 성님들 하나만물어볼꺼있어서 왔어요 [1] ㅁㄴㅇㄹ(121.150) 12.01.03 53 0
296993 횽들횽들 한번만 도와주십시오 굽신굽신 ㅠㅠㅠ [3] 434(121.139) 12.01.03 69 0
296992 vs2008 vs 이클립스 ㅁㄴㅇ(118.37) 12.01.02 56 0
296991 형들.. c언어나 java로 메모리엑세스는 어떻게하는거야?ㅠ_ㅠ [6] 434(121.139) 12.01.02 128 0
296990 으헉- 경고없이 들어와진다.... [1] ㅋㄱ(183.96) 12.01.02 56 0
296989 고수님들 프로그래밍 책 추천바랍니다. [3] 투자는원칙갤로그로 이동합니다. 12.01.02 117 0
296988 드디어 관리자계정 암호 풀었다. 콤팩짜식들(211.221) 12.01.02 66 0
296986 스티브 잡스 자서전을 읽고 있는데 니 코 가 뭐갤로그로 이동합니다. 12.01.02 83 0
296985 변태코드 재밌네 [5] 이모군(175.114) 12.01.02 154 0
296984 형들아 나 질문좀!! [5] 형들아!!(199.48) 12.01.02 67 0
296983 정말 프로그래머는 답이없는거냐? [2] ㅇㅇ(14.55) 12.01.02 182 0
296982 유능한 프로그래머란 뭘까? [1] ㅇㅇ(119.149) 12.01.02 82 0
296981 디자이너 구하는게 여친 구하는거보다 더어렵냐.. [3] 싴보이갤로그로 이동합니다. 12.01.02 118 0
296980 횽들 gdb 공부? 연습좀 하려는데 춫현좀 [9] pizzicato_갤로그로 이동합니다. 12.01.02 76 0
296979 규혁롬 하니깐 PMP에 드라이버 포팅하던 어떤 불쌍한 애가 생각난다. [2] ㅇㅇ(119.149) 12.01.02 99 0
296978 이규혁 정리하면 [2] 이모군(175.114) 12.01.02 136 0
296977 비트 컴퓨터학원 좋은가요? 쿠마코갤로그로 이동합니다. 12.01.02 813 0
296976 c공부하고있는데 배열 부분 하나만 알려줘라 형들. [1] c초보(14.55) 12.01.02 68 0
296974 남자 170cm 이하의 키 vs 4년 장학금 받기 [1] ㅇㅇ(121.133) 12.01.02 83 0
296973 이규혁 이색히 한건 했구나 [12] ㅇ.ㅇ(61.33) 12.01.02 320 0
296972 숏코딩 [4] 이모군(175.114) 12.01.02 101 0
296971 프로그래머가 장래희망인 예비고1인데... [6] !@#$$%(121.170) 12.01.02 149 0
296970 비전공자. 5개월간 독학했는데 취업하려면 학원가야될까요?ㅠ [5] 까꼬이(220.119) 12.01.02 292 0
296969 다이아몬드 만들기 성공했긔!! [2] asdas(222.114) 12.01.02 246 0
296968 게시판에 댓글 기능 추가하는거 어려움? [4] ㅌㄹ(59.26) 12.01.02 86 0
296966 프로젝트 비 얼마로 협상해야 할까? [2] Coste(14.46) 12.01.02 95 0
296965 taglib jstl 빡치네 ㅡㅡ 다운 받을 수가 없어. [2] ㅇㄷㅇㄷ(119.161) 12.01.02 50 0
296964 안드로이드 잘 아는 게이드라 좀 도와줭 [2] ㅇㅇ(210.94) 12.01.02 53 0
296962 오랜마니야... ㅋㄱ(183.96) 12.01.02 49 0
296961 군대에서 프로그래밍 공부하는 방법 [3] u2em갤로그로 이동합니다. 12.01.02 180 0
296960 개 키우니? [2] iljeomobolt갤로그로 이동합니다. 12.01.02 151 1
296959 자바 너무 어려움 -.-; [1] iljeomobolt갤로그로 이동합니다. 12.01.02 105 0
296958 형들 진짜 대학에대해 질문 [3] dsad(211.245) 12.01.02 120 0
296955 이런사람들이 생2를 배운다면 쪽팔리지 않을까 [1] elwlwlwk갤로그로 이동합니다. 12.01.02 118 0
296953 뒤에 보니까 모바일 게임 시장이 흥할 거라고 써놓았는데 -ㅂ-(183.102) 12.01.02 54 0
296947 형들 입력받은 음수를 양수로 바꾸는법좀 알려주세용.. [5] asdas(222.114) 12.01.02 109 0
296942 html5 비디오 인코딩말이야 김문숩니다.(125.177) 12.01.02 52 0
296941 요즘들어 자꾸 분노가 치밀어 오른다. 바보플머(222.121) 12.01.02 90 0
296939 형들 디바이스 드라이버 관련 책 추천좀요 [1] ㅇㅇㅇ(210.96) 12.01.02 63 0
296938 바위가위보 게임을 만들었습니다. 질문좀 할께요.. [7] 샐리(222.234) 12.01.02 157 0
296934 문 함부로 열어주지 마라. [4] 바보플머(222.121) 12.01.02 168 0
296927 개발자는 진짜 나이를 안따지나여??? [3] 늅늅이(182.211) 12.01.02 173 0
296924 3년차에 적정 연봉선은 어느정도라 생각함? [3] 캐연봉닭(115.92) 12.01.02 182 0
296921 뭐가 돈 되나 ? ㅇㅇ ? [13] ☎v2.0™갤로그로 이동합니다. 12.01.02 310 0
296918 아직 취업안한 횽들 있음? ㅋㅋ NC 소프트 채용정보 있던데 ㅋㅋ [7] ㅁㄴㅇㄹ(59.30) 12.01.02 307 0
296913 안드로이드 ADT 16.0 업데이트 하지마라 [1] ㅇㅇㅇ(59.150) 12.01.02 106 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2