아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34

조회 276 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	해외에서 겪는 불합리한 대우에 대응 잘 할 것 같은 스타는?	운영자	25/11/03	-	-
AD	저녁 뭐먹지? 오늘의 메뉴 추천!	운영자	25/10/31	-	-
296775	횽들 컴터가 뷍쉰 되어 버렸는데 해결 좀 해줘.. [2]	잭슨횽잘가	12.01.01	72	0
296774	판톡 신입프로그래머의 한탄 [6]	ㅎㅎㅎ(119.82)	12.01.01	298	0
296771	헤더 파일을 찾을수가 없습니다. ㅠㅠ [3]	달려라웅이	12.01.01	363	0
296770	애들아 하이브리드앱 기술중에 대세는 무엇인감요? [1]	ㅋㅋ(221.138)	12.01.01	68	0
296769	드림스파크는 원래 다 이런가 [2]	URISS	12.01.01	85	0
296767	이상형 월드컵이라고 하긴 뭐하지만 [5]	애슐리_그린	12.01.01	109	0
296766	ㅇㅋ 이제 전부 해결함	애슐리_그린	12.01.01	50	0
296765	mfc 효과적인 공부방법에 관해 [2]	MySoul	12.01.01	187	0
296763	배울때는 돈에 연연하면 안된다..	컴공(121.142)	12.01.01	113	0
296762	빨간우산 백신 업데이트를 v3가 바이러스로 인식한다 [1]	거칠게	12.01.01	95	0
296761	조공有 프로그램형들 살려줘 ㅠ [5]	64비트(112.145)	12.01.01	263	0
296759	입사지원 자소서에 장래희망에 '벤처창업'이라고 쓰면 미친놈 취급함? [6]	횽들아....(221.147)	12.01.01	151	0
296758	새해 복 많이 머겅	Lover♥	12.01.01	31	0
296757	게임 매크로에 대해서 질문 있어요. [10]	ㅇ(218.209)	12.01.01	199	0
296756	프게이형들아 아이티윌에 자바랑 오라클 배우러 갈라 카는데 어떰요?	이웃집아저씨	12.01.01	223	0
296755	새해복 많이 받으세요~	일광면(119.198)	12.01.01	54	0
296754	술먹다 송구영신 예배 옴.. [2]	므해?	12.01.01	96	0
296753	프게이들 새해복많이받아영	Dawnwalkre	12.01.01	35	0
296752	야 디씨 몇일전부터 자꾸 avast 차단되는데 니들 어떻게 갤러리 글봄?	sdfd(112.162)	12.01.01	52	0
296751	프게이들 해피뉴이어	정수정•‿•	12.01.01	38	0
296750	새해복받으셔여	[성대아싸]	12.01.01	63	0
296749	새해다 노예들아	가격거품	12.01.01	42	0
296747	천재 개발자 수준이 어느정도인 줄 아냐? [13]	화이트오렌지(222.121)	11.12.31	437	0
296745	촙 C공부할때 질문 [2]	이힝(121.177)	11.12.31	65	0
296744	해킨토시야 [1]	컴돌이(121.138)	11.12.31	86	0
296742	흠 수줍은 질문점 해보쟝 [7]	잉고(125.177)	11.12.31	81	0
296741	매트랩 좀 하시는분 안계시나요?;; [1]	후이(211.202)	11.12.31	108	0
296740	달팽이 배열 또 물어봅니다. [10]	이힝(121.177)	11.12.31	119	0
296736	웹퍼블리셔 2년차에 연봉 2500이면 괜찮은거냐? [3]	-0-(221.138)	11.12.31	435	0
296735	게임업계 평균 연봉.txt [3]	ㅇㅇ(121.133)	11.12.31	664	1
296734	플갤님들 방금 수정된 jpeg파일을 수정 전으로 돌리는 방법 없나요?? [5]	양학	11.12.31	74	0
296733	프갤에서 같이 오픈프로젝해보실분계신가요	울랄라베이베	11.12.31	163	0
	아래 웹크롤러 글.. [4]	K(125.186)	11.12.31	276	0
296730	웹사이트 제작가능한 능력자 [1]	해피지로(110.13)	11.12.31	92	0
296729	애들아~ 새해복 많이 받아요.	어떡해	11.12.31	47	0
296728	있잖아...	kushan	11.12.31	37	0
296727	방금 군대에서 전화왔는데 [2]	elwlwlwk	11.12.31	244	0
296726	내년에 기술직, 기능직 공무원들 대거 뽑는다고함. [4]	ㅇㅇ(218.209)	11.12.31	186	0
296725	횽들 코딩하다가 손가락에 감각이 둔해지는 현상 안옴? [2]	쩝...(221.147)	11.12.31	116	0
296724	프로그래밍 갤러중에서 이에러 해결방법 아는용자 있슴까 [1]	글쓰기 에러 (211.236)	11.12.31	101	0
296723	내가 프로그래밍을 하는 이유... [7]	쩝...(221.147)	11.12.31	181	0
296722	ssd랑 flash memory랑 어떻게 다른건가요? [5]	ㅇ(112.148)	11.12.31	103	0
296721	요약해서 다시올립니다(진로vs보충) [2]	농구킹	11.12.31	66	0
296719	phpmyadmin으로 어디까지 db관리 가능한가요? [4]	일베(218.147)	11.12.31	89	0
296716	진로활동VS학교보충 [4]	농구킹	11.12.31	86	0
296715	씨언어 기본기 있으면 [2]	프로그랭갤러(119.198)	11.12.31	120	0
296713	중간에 플랫폼이 바뀌면 텍스트 파일 내용에 무슨 문제 생기냐? [15]	분당살람	11.12.31	117	0
296709	우분투 버려 - _-).... [5]	땡칠도사	11.12.31	196	0
296708	썅년들아 ㅡㅡ 비트다니는 놈/년있냐? [5]	ㅡㅡ(175.198)	11.12.31	205	0
296706	대학원에서 아카데미 F40을 만들었는데	분당살람	11.12.31	93	0