아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34

조회 278 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	이성 보는 눈 없어서 걱정되는 스타는?	운영자	25/11/10	-	-
AD	저녁 뭐먹지? 오늘의 메뉴 추천!	운영자	25/10/31	-	-
297198	다들 퇴근 안하냐? [1]	□ㅁ	12.01.04	46	0
297196	아스트라로테 횽이 프갤이랑 제일 잘 맞는듯.. [5]	ㅁㄴㅇㄹ(59.30)	12.01.04	70	0
297195	아 안드로이드 소켓 왜이런다냐;; [8]	lucy_han	12.01.04	105	0
297193	헐 ㅋㅋ 내가 대학 졸업하면 만들려던거 나와버렸네 ㅋㅋ ㅅㅂ.jpg [3]	Stan(220.244)	12.01.04	224	0
297191	아파치 잘하는분들 좀 도와주세요 ㅠ [1]	ㅁㄴㅇㄹ(222.108)	12.01.04	59	0
297190	디자이너한테 psd파일 넘겨받은다음 개발자는 뭘 어떻게해야돼나요? [10]	얼룩돼지	12.01.04	163	0
297188	해커들 참 대단하네여ㅎㅎㅎ [1]	신기함(58.150)	12.01.04	166	0
297187	imbc 웹개발 이런데 들어가면 근무환경 좆같을까?? 네임드인데 어떰??	ㅁㄴㅇㄹ(59.30)	12.01.04	78	0
297186	지금부터 c언어 시작하면 배틀필드 4같은건 언제 만들수 있나요 [4]	야요이	12.01.04	173	0
297185	연극.. 다시... [1]	iljeomobolt	12.01.04	65	0
297184	배필4를 만들어보고 싶습니다. 언어추천좀 [5]	야요이	12.01.04	93	0
297182	visual c++ 2008 이거 윈도우7 하고 호환 안돼요? [9]	d(180.69)	12.01.04	381	0
297181	액티비티간 통신 어떻게 구현했더라?? [9]	lucy_han	12.01.04	101	0
297180	형들 학원때매 질문좀 할께 [5]	대갈빠가(112.151)	12.01.04	108	0
297177	50% 라고?????	ㅋㄱ(183.96)	12.01.04	53	0
297175	연극... [1]	iljeomobolt	12.01.04	69	0
297174	어제까지 잘되던 톰캣이 갑자기 다 안되요 도와주세요 ㅠㅠ [7]	어떡해(203.171)	12.01.04	132	0
297173	너네 자꾸 해킹 해킹 하는데 [1]	ㅇㅇㅇ	12.01.04	109	0
297172	횽들 전공 컴과인데 1학년때 뭐배워? [4]	cs컴싸(115.139)	12.01.04	138	0
297171	기아 레이 100대 이벤트 한다	□ㅁ	12.01.04	42	0
297170	오늘 문득 낙오자가 된 기분을 느꼈어 [8]	ㅁㅁㅁ(211.232)	12.01.04	145	0
297169	dc 글싸는데 왜 사진 첨부가 안되	□ㅁ	12.01.04	63	0
297168	요즘 돈이 되는 항목들 찾으려면.. [1]	☎v2.0™	12.01.04	95	0
297167	php 초보잔데요 [3]	ㅇㅇ(210.90)	12.01.04	74	0
297166	형들아 telnet접속 하는걸로 POP서버 접속했는데 [3]	꿀레(202.30)	12.01.04	73	0
297164	삼성 소멤 쓰신분들! [6]	ㅅㅅㅅ(118.39)	12.01.04	496	0
297162	여기요.........??..../// [1]	학교가자	12.01.04	36	0
297161	해킹은 어떻게 공부해야되나요? [12]	저격甲	12.01.04	203	0
297160	아무리 생각해봐도 디씨 게시판 넘 꼴았는데.... [11]	야요이	12.01.04	138	0
297159	괜찮은 커뮤니티좀 알려주세요 [4]	야요이	12.01.04	72	0
297157	C++로 게임 만드는 예제 사이트좀 알려주세요 [6]	야요이	12.01.04	124	0
297156	웹서버와 WAS 서버 차이점 머죠? [3]	야요이	12.01.04	242	0
297155	서버프로그래밍좀 할줄 아시는분 계시능가? [3]	SODMaster	12.01.04	92	0
297153	횽들아 나 c언어 공부중인데 초보적인것좀 갈켜줘 제발 [20]	횽들아(112.149)	12.01.04	142	0
297152	드림하우스	이모군(175.114)	12.01.04	31	0
297151	인사평가 기간이다. [1]	21C노가다	12.01.04	123	0
297150	mysqlcppconn 에서 lib 를 링크해주는 부분은 어디있나염?	궁금이(59.13)	12.01.04	52	0
297149	pdf password remover 질문!	♥한효주♥내꺼	12.01.04	36	0
297148	크롬으로 농협들어가면 모바일웹으로 가지네	이힝(121.177)	12.01.04	39	0
297147	oracle질문할게요....	oracle질문(14.32)	12.01.04	470	0
297144	아 진짜 쿨하게 어떻게 거절하냐... [3]	일광면(119.198)	12.01.04	160	0
297141	비전공자가 프로그래밍일 하려면 무엇부터 해야 됨요 [4]	unbeschäftigt	12.01.04	171	0
297140	횽들 맛점 하세용!	쿠마코	12.01.04	42	0
297139	안드로이드폰 무한 부트애니 상태에서 로그나 그런거 뜰수있는 방법 없나요? [2]	1234(219.251)	12.01.04	56	0
297138	asp.net2.0 에서 form post 방식 안되냐? [2]	□ㅁ	12.01.04	85	0
297137	성대아싸횽 만드는거 보니까 추억이 떠오른다.. [3]	McHello	12.01.04	134	0
297135	에디트 플러스에서 조건에 맞는 특정행 지우기 가능하냐 [3]	씠(203.226)	12.01.04	111	0
297134	회사다니는데 선배 권유로 다른 회사 면접 한번 봤는데 이게 해고 사유야? [9]	수상한김토끼	12.01.04	423	0
297133	지금 이럴 시간이 있음? [1]	McHello	12.01.04	83	0
297132	실무 하시는분들께 질문하나 하고싶습니다만(그냥 아무나 해주셔도 되요 ㅎㅎ [18]	유독닉(210.103)	12.01.04	163	0