아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34

조회 279 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	이성 보는 눈 없어서 걱정되는 스타는?	운영자	25/11/10	-	-
AD	저녁 뭐먹지? 오늘의 메뉴 추천!	운영자	25/10/31	-	-
296822	빌어먹을 IE6가 언제쯤 사라질까나? [1]	으헹(221.138)	12.01.01	72	0
296821	선착순 한명 치킨 쏜다 [2]	elwlwlwk	12.01.01	65	0
296819	우리나라 어느 회사를 가도 막장.. [3]	eka(125.186)	12.01.01	142	0
296818	프로그래머가되도될까요 [4]	IMhouse	12.01.01	136	0
296816	컴퓨터공학과 가면 장래성이 어떤가요? [3]	미적붐(121.167)	12.01.01	201	0
296814	내가 왜 자바스크립트를 가볍게 봤을까 [3]	ㅌㄹ(59.26)	12.01.01	136	0
296813	게임서버 프로그래머 [2]	알오티씨플머	12.01.01	166	0
296812	지금 회사에서 중간에서 치이는거 같은데....내 잘못인지좀 봐주세요... [4]	ㅈㅈㅈㅈ(1.212)	12.01.01	108	0
296811	성대 아싸 행님은 성대 전컴임? [1]	ㅂㅈ(175.117)	12.01.01	75	0
296808	궁금한데 프로그래머들이 볼때 안철수가 대단한가요??? [8]	123(219.249)	12.01.01	226	1
296807	치킨코딩하는법좀 [1]	ㅇㅇ(220.78)	12.01.01	66	0
296806	사회생활하고 첨 대학교 선배봤는데 진짜 사람은 직장을 잘잡아야하는듯 [2]	ㅇㅇㅇㅇ(1.212)	12.01.01	152	0
296805	실버라이트 전망이 어떰? [6]	김문숩니다(125.177)	12.01.01	182	0
296803	이런건 어떻게 만들어? [1]	Metanoia(59.18)	12.01.01	70	0
296802	신년을 맞아 본닉으로 회귀!! [1]	SODMaster	12.01.01	83	0
296801	20112년 1월 2일부터 새직장으로 출근! [2]	CRS(14.32)	12.01.01	109	0
296800	책 팔아여(파이썬 프로그래밍,Computational Economics) [2]	거지	12.01.01	85	0
296798	어제 오늘 너무 오래자서 머리 아프다	ㅁㄴㄻㄹ	12.01.01	54	0
296796	컴 새로 맞출건데 프로그래밍 하면서 쿼드까지 필요한가요? [1]	뉴비뉴바(175.200)	12.01.01	100	0
296795	테스트 [1]	＃include<stdi.	12.01.01	41	0
296794	담배 피는 쇼키들은 면접 때 의지력 박약으로 다 탈락시켜야 한다고? [3]	dd(121.133)	12.01.01	183	0
296793	요즘 모바일 쪽에서 뜨는(뜰 거 같은) 기술은 뭐임? [3]	한마음택배(114.202)	12.01.01	142	0
296790	웹사이트 제작가능한 능력자 없나요	해피지로(116.125)	12.01.01	60	0
296788	프로그래밍 기초닦는책같은거 추천좀 [3]	ㅇㅇ(220.78)	12.01.01	139	0
296787	웹게임쪽개발자분중에창업에관심있는분. [2]	게논볼	12.01.01	133	0
296785	난 컴공은 아니고 물리화학수학 하는 이제 4학년 되는 꼬꼬만데 [6]	물리꼬꼬마(164.125)	12.01.01	200	0
296784	유닉스 쪽은 첨 보는거라;;	dd(125.178)	12.01.01	62	0
296783	이진수 시계	때릴꺼야?(116.40)	12.01.01	97	0
296781	책 한권만 읽으면 게임만들수있다는거 사실? [5]	ㅇㅇ(220.78)	12.01.01	167	0
296779	엽떼요 [1]	분당살람	12.01.01	47	0
296778	ASSA3d 심플 엔진 , 라인그리기 (크롬, 파폭) [2]	[성대아싸]	12.01.01	131	0
296777	스카웃 C 블로그 링크걸어줬던 갤러형에게 감사	니애미(61.106)	12.01.01	60	0
296776	바보야	＃include<stdi.	12.01.01	35	0
296775	횽들 컴터가 뷍쉰 되어 버렸는데 해결 좀 해줘.. [2]	잭슨횽잘가	12.01.01	79	0
296774	판톡 신입프로그래머의 한탄 [6]	ㅎㅎㅎ(119.82)	12.01.01	300	0
296771	헤더 파일을 찾을수가 없습니다. ㅠㅠ [3]	달려라웅이	12.01.01	370	0
296770	애들아 하이브리드앱 기술중에 대세는 무엇인감요? [1]	ㅋㅋ(221.138)	12.01.01	72	0
296769	드림스파크는 원래 다 이런가 [2]	URISS	12.01.01	87	0
296767	이상형 월드컵이라고 하긴 뭐하지만 [5]	애슐리_그린	12.01.01	112	0
296766	ㅇㅋ 이제 전부 해결함	애슐리_그린	12.01.01	53	0
296765	mfc 효과적인 공부방법에 관해 [2]	MySoul	12.01.01	190	0
296763	배울때는 돈에 연연하면 안된다..	컴공(121.142)	12.01.01	117	0
296762	빨간우산 백신 업데이트를 v3가 바이러스로 인식한다 [1]	거칠게	12.01.01	97	0
296761	조공有 프로그램형들 살려줘 ㅠ [5]	64비트(112.145)	12.01.01	268	0
296759	입사지원 자소서에 장래희망에 '벤처창업'이라고 쓰면 미친놈 취급함? [6]	횽들아....(221.147)	12.01.01	155	0
296758	새해 복 많이 머겅	Lover♥	12.01.01	35	0
296757	게임 매크로에 대해서 질문 있어요. [10]	ㅇ(218.209)	12.01.01	202	0
296756	프게이형들아 아이티윌에 자바랑 오라클 배우러 갈라 카는데 어떰요?	이웃집아저씨	12.01.01	228	0
296755	새해복 많이 받으세요~	일광면(119.198)	12.01.01	59	0
296754	술먹다 송구영신 예배 옴.. [2]	므해?	12.01.01	100	0