디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34
조회 282 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,
단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,
고전적인 방식으로 URL을 수집해 보는 방식인데,
이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,
수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.
이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.
그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 이성 보는 눈 없어서 걱정되는 스타는? 운영자 25/11/10 - -
AD 겨울가전 SALE! 쿨한 겨울 HOT세일 운영자 25/11/12 - -
297419 SeHwa님 아까 그 리눅스 배우고 싶다던 리눅게인데여 [5] 리눅게이(115.31) 12.01.05 74 0
297418 C언어에서 string 복사는 strcpy.... 그럼 java에서는?? [1] ddd(202.31) 12.01.05 148 0
297417 어플리케이션제작가능하신분찾습니다. [8] 어플리케이션(211.252) 12.01.05 162 0
297415 성대아싸횽 있음?? 물어볼거 있는데 [1] ㅁㄴㅇㄹ(59.30) 12.01.05 71 0
297412 리버싱책초반부애 어셈블리어 튜토리얼같은게나와? [12] 중1(175.116) 12.01.05 233 0
297411 정말요??...프랑스.;/네덜란드 그곳에도??? [3] 학교가자갤로그로 이동합니다. 12.01.05 69 0
297410 정말요??...프랑스.;/네덜란드 그곳에도??? [1] 학교가자갤로그로 이동합니다. 12.01.05 50 0
297409 곧 있으면 그놈이랑 KDE 짬뽕판 나온다던데 [1] 무에타쓰갤로그로 이동합니다. 12.01.05 54 0
297408 오늘 알았는데 | grep을 I grep이라고 착각 한 애들없음? [5] 무에타쓰갤로그로 이동합니다. 12.01.05 99 0
297407 두 세가지? 정도만 더 구현하면 되는데,, ㅋㄱ(183.96) 12.01.05 48 0
297406 아오 해상도 1024*768로 해놔도 또다시 되돌아온다 [4] 무에타쓰갤로그로 이동합니다. 12.01.05 67 0
297405 리눅스 런레벨 6으로 해본 사람있냐? [5] 무에타쓰갤로그로 이동합니다. 12.01.05 110 0
297404 내 블로그를 온통 영어로 도배하고 외쿸애들하구 소통하구싶다 [1] 캐외쿸닭(115.92) 12.01.05 76 0
297403 리눅게이야 ㅋㅋ 봐라 [2] C_Perl갤로그로 이동합니다. 12.01.05 54 0
297402 스마트폰도 보안위협 받고있대여~~!!!!!!ㅠㅠㅠㅠ 험한세상(58.150) 12.01.05 40 0
297401 도와주세요..형님들..ㅠㅠ [16] 춤추는별갤로그로 이동합니다. 12.01.05 126 0
297400 아 ㅅㅂ 지잡대 생인데 교수때문에 조온나 미치겟다 [2] 123(219.249) 12.01.05 120 0
297399 내가 아는 지인 꼬치먹고맴맴갤로그로 이동합니다. 12.01.05 47 0
297398 아 ㅅㅂ 지잡대 생인데 교수때문에 조온나 미치겟다 123(219.249) 12.01.05 61 0
297397 횽드라 리눅스 공부하고시픈데여ㅛ [9] 리눅게이(115.31) 12.01.05 119 0
297396 횽들 이거 영업직 아니지? [11] ㄴㄴ(183.101) 12.01.05 141 0
297395 컴퓨타 가장 기초적추천 [2] 꼬치먹고맴맴갤로그로 이동합니다. 12.01.05 84 0
297394 마크주커버그 [2] 꼬치먹고맴맴갤로그로 이동합니다. 12.01.05 91 0
297393 v2.0 [13] SeHwa갤로그로 이동합니다. 12.01.05 125 0
297392 횽들횽들 나 모르는게 있어 좀 가르쳐줘. [7] Gromit갤로그로 이동합니다. 12.01.05 130 0
297391 형들 나 티스토리 초대장좀줘 흐극 티스토리초대장좀(121.185) 12.01.05 68 0
297390 개발자 정년 연장 방법 ㅇㅇ [2] ☎v2.0™갤로그로 이동합니다. 12.01.05 192 0
297389 내가 미천해서 CALLBACK 함수에 대해서 물어볼께 있다. [5] ㅇㅇ(58.102) 12.01.05 180 0
297387 횽들 이거좀 도와줘 C언어 배열인데.... [4] 조찐따(203.253) 12.01.05 105 0
297386 프갤횽들 질문점 할께욤 [4] 파이귭는남자갤로그로 이동합니다. 12.01.05 91 0
297385 안녕안녕안녕안녕안녕 [4] 아이유공부법갤로그로 이동합니다. 12.01.05 69 0
297384 영진닷컴 VB.NET을 이용한 database 프로그래밍... [2] ㄹㄹㄹ(112.217) 12.01.05 81 0
297383 혹시 여기 스트럿츠2 잘 아는 형님들 계신가요??? [1] 늅뉴비(203.253) 12.01.05 93 0
297382 형들 감기약 먹나? [3] 자살춤갤로그로 이동합니다. 12.01.05 89 0
297381 횽이 오늘은 기분이 좋아... ㅋㄱ(183.96) 12.01.05 52 0
297379 짝보면 일주일동안 한집에서 사는건데 아무사건도 안일어날리가 없다 거칠게갤로그로 이동합니다. 12.01.05 96 0
297377 어제가 모태솔로 특집이었다며??? [2] 거칠게갤로그로 이동합니다. 12.01.05 136 1
297376 요즘 우리나라 아이돌을 보면 존나 쓰레기다. 아스트라로테갤로그로 이동합니다. 12.01.05 70 0
297375 프겔러들 특집으로 "짝"에 출연해 보자 [2] 거칠게갤로그로 이동합니다. 12.01.05 130 0
297374 우리나라 대기업들은 왠만한 것은 개발 안한다. ㅇㅇ [2] ☎v2.0™갤로그로 이동합니다. 12.01.05 140 0
297373 옵티머스원 공짜로 받았음; 해킨토시갤로그로 이동합니다. 12.01.05 52 0
297372 졸리고 지루한 시간엔 역시 걸그룹 뮤비를~ 거칠게갤로그로 이동합니다. 12.01.05 50 0
297371 Necrophilia, 시채 애호증.swf Stan(220.244) 12.01.05 84 0
297369 형들 질문좀 [7] 쒦뚫쉚뚫샒휆뚫뚫쒦갤로그로 이동합니다. 12.01.05 91 0
297368 횽들 이 소스에서 리턴형을 상수로 하는 이유가 무엇인가요 [6] 치킨맛맛폰갤로그로 이동합니다. 12.01.05 130 0
297366 박하선 같은 캐릭터의 여자랑 사귀고 싶다... 거칠게갤로그로 이동합니다. 12.01.05 117 0
297365 올해 중1입니다, 보안으로 진로를 정했는데 수학이랑 영어는 하기 싫어요 [9] 초딩6(59.13) 12.01.05 177 0
297364 횽드라 리눅스 명령어좀 가르쳐주세용용 [7] 리눅게이(115.31) 12.01.05 97 0
297363 악 PLT GOT 존나 거지같네 어슐러르귄갤로그로 이동합니다. 12.01.05 43 0
297362 수시채용회사에 이력서 넣었는데 2틀 지나도록 연락없으면 떨어진거냐?? [1] sdf(122.32) 12.01.05 106 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2