아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34

조회 281 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	이성 보는 눈 없어서 걱정되는 스타는?	운영자	25/11/10	-	-
AD	겨울가전 SALE! 쿨한 겨울 HOT세일	운영자	25/11/12	-	-
297705	제 블로근데 이거 보임?? [11]	[성대아싸]	12.01.07	183	0
297704	김문수 - 나 도지사 김문숩니다(feat.남양주소방서) [2]	아이유공부법	12.01.07	60	0
297703	1 인생 계획 [1]	1(211.197)	12.01.07	64	0
297702	횽들 5공 컴공과에서 삼성갈수 있나여? [5]	헿헿(123.109)	12.01.07	271	0
297701	나 게임엔진 만들래! [12]	엔지니어링(175.116)	12.01.07	200	0
297699	아싸3디 , 티팟 하구 수잔 원숭이 추가 [6]	[성대아싸]	12.01.07	153	0
297698	도대체 이유가 뭘까? [9]	음..(175.211)	12.01.07	132	0
297695	i++이랑 i=i+1 이랑 다른것임? [6]	1(211.197)	12.01.07	171	0
297694	열심히 해서 성공하리라는 보장은 없음. ㅇㅇ [3]	☎v2.0™	12.01.07	113	0
297690	문제좀 해결좀.. [5]	이것좀..(175.211)	12.01.07	59	0
297687	C마스터 드립 지겹다. [3]	다채(211.230)	12.01.07	141	0
297685	어헝 삼성 전략기획실 다니는 넘한테 물어봤는데.. [1]	☎v2.0™	12.01.07	188	0
297684	이거좀 도와줘 [1]	elwlwlwk	12.01.07	67	0
297683	scheme 스킴x 스췜o [1]	elwlwlwk	12.01.07	64	0
297682	스레드 OR 안드로이드 질문좀	쿄스케	12.01.07	63	0
297681	에플릿 에러 왜뜨는거야	ㄱㄷㅈ(175.201)	12.01.07	130	0
297680	c++질문좀... [3]	잉크(125.177)	12.01.07	131	0
297677	근데 이문동쭈쭈바횽 프갤접었나여?	추상화	12.01.07	56	0
297675	시발 되도않는 연애 때려치우고 공부할겁니다 [5]	추상화	12.01.07	151	0
297674	휴일출근.. [4]	토쏠려(14.52)	12.01.07	99	0
297673	근무환경 좋은 나라가 어디임? [3]	YesMan	12.01.07	193	0
297671	여기 전자공학도 있나요?? (있으면 좀 봐주세요!) [4]	질문좀요(121.167)	12.01.07	145	0
297669	C가 쉽다고??? [2]	C초보(114.206)	12.01.07	110	0
297668	형드라 한국이 IT강국이니까 컴퓨터과가면 좋겠죠?ㅎㅎ [6]	LALR(211.222)	12.01.07	148	0
297665	큐브 월드 [1]	[성대아싸]	12.01.07	117	0
297664	C++, 언리얼3 엔진을 이용한 게임 프로그래밍 그룹 과외 모집합니다 [2]	게임스터디(121.128)	12.01.07	211	0
297663	strtok함수활용 [1]	궁금점(175.211)	12.01.07	167	0
297660	와 시발 미국 컴퓨터 사이언스 전공 학생들 평균연봉 7700만원ㅋㅋㅋㅋㅋ [2]	ㅁㄴㅇㄹ(59.30)	12.01.07	426	0
297659	흐흐흐.. 횽들 나 안드로이드 카드 게임 만들었어 ㅋㅋㅋ [1]	7H9ZI(121.145)	12.01.07	99	0
297658	형들 html5와 jquery의 관계가 모야? [2]	모바일웹(222.107)	12.01.07	129	0
297656	c언어 얼마나 공부해야 될까요? [35]	기린(68.146)	12.01.07	304	0
297655	天安門天安门法輪功李洪志 Free Tibet 劉曉波 [2]	lucy_han	12.01.07	103	0
297654	c언어는 솔직히 따른건 대충해도 몇달안에 끝나는데 [5]	메리프	12.01.07	158	0
297653	jsp 회원가입만들었는데 안되서 5시간째 들여다봄 ㅋㅋ [5]	영어쓰던남자	12.01.07	130	0
297651	타자가 나날이 병신이 되간다... [3]	ㅇㅇ(112.187)	12.01.07	111	0
297650	프로그래밍에도 슬럼프가 있나 ? [6]	lucy_han	12.01.07	142	0
297648	걍 고등학교 떄려쳐도 됨 [5]	시불라미	12.01.07	127	0
297647	보통C언어 독학으로마스터하는데 얼마나걸리나요? [10]	FishKing	12.01.07	205	0
297646	꼴릿한은 봐라 [11]	SeHwa	12.01.07	282	1
297645	나 시발 소원이 있다. [2]	ㅇㅇ(112.187)	12.01.07	78	0
297644	내가 지금 파폭을쓰는데 파폭플래시 영상이 [1]	메롱유	12.01.07	72	0
297642	미래의 치킨집 사장님들 안녕하세요. [3]	꼬장지대(124.49)	12.01.07	105	0
297640	avira vs 카스퍼스키 [1]	하얀사람	12.01.07	81	0
297639	개발자 입장에서 안드 vs ios [4]	ㅂㅈㄷㄱ(121.166)	12.01.07	140	0
297637	기초 같은거 임마들어 물어볼라면.... 그 뭐야	ㅁㅈ(116.125)	12.01.07	36	0
297636	지금 딥웹들어가려는데 [2]	하얀사람	12.01.07	73	0
297635	C 별거 아님 ㅋ 일주일이면 마스터함 ㅋㅋㅋ 프로그래머 깝 ㄴㄴ [6]	ㄶㅎ(59.24)	12.01.07	181	0
297631	자바 생초보 질문요 ㅜㅜ [13]	,,,,(112.148)	12.01.07	114	0
297630	시발 존나 디시 렉걸림 [1]	Adelposs	12.01.07	45	0
297629	독학힘들다 이해가 안가는 부분 해결이 안됨 [2]	므해?	12.01.06	91	0