아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34

조회 297 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	뛰어난 운동 신경으로 남자와 싸워도 이길 것 같은 여자 스타는?	운영자	25/11/24	-	-
AD	따뜻한 겨울나기! 방한용품 SALE	운영자	25/11/27	-	-
298884	아.. 컴퓨터좀 잘하시는분 ㅠㅠ; 이런경우 어떻게 해아하나요... [4]	뿌뿌(121.88)	12.01.15	93	0
298882	야 여기에 SSM(삼성소프트웨어 맴버십) 강남 지부에 지원한사람있냐? [12]	루드린	12.01.15	397	0
298881	나노재능인듯 이쪽에 ㅎㅎㅎㅎㅎㅎㅎ [2]	하마돈	12.01.15	102	0
298880	OS 진행상황하고 책본거랑 아는거 몇개 ㅋㅋ [5]	ㅁㄴㅇㄹ(59.30)	12.01.15	189	0
298879	해커스쿨 여기 나같은 찌랭이들은 순식간에 잡전 다 털리고 [2]	ㅇㅇ(220.87)	12.01.15	110	0
298878	제 질문에 답해줄 고수 없나여.	SODMaster	12.01.15	47	0
298877	ruby나 python html소스 올려놓고 주소 주는 사이트 아는사람? [2]	사이트(218.147)	12.01.15	77	0
298876	질문하나더 [13]	하마돈	12.01.15	113	1
298875	형들 근데 OS로 포트폴리오 만들어가면 주로 면접관이 뭘 볼까영?? [12]	ㅁㄴㅇㄹ(59.30)	12.01.15	224	0
298874	자바관련 질문 짧습니다, 짧게 답해주실분;;; [6]	자바만세(121.129)	12.01.15	78	0
298873	문장이해력이 딸리는것 같아요 횽 ㅠ	쿠마코	12.01.15	74	0
298872	형들 자꾸 물어봐서미안한데 [5]	하마돈	12.01.15	99	0
298871	야근있는 회사 야근없는 회사	백점만점십점(218.39)	12.01.15	2438	0
298870	RIA 에 대해서 볼려고 하는데 [1]	좋은아버지	12.01.15	61	0
298867	올해 망조들어서 프로그래머들하고 공학계 인간들 돈좀 만지겠군하~ [6]	김모씨(118.176)	12.01.15	248	0
298866	error C2106: '=' : 왼쪽 피연산자는 l-value이어야 [23]	하마돈	12.01.15	112	0
298865	별사탕 OS는 어떻게 되었으려나? [1]	elwlwlwk	12.01.15	84	0
298864	웹사이트 구축하고자 하는데 어찌해야 할까요? [9]	ㅇㅇ(124.3)	12.01.15	132	0
298862	안다로이드 기반 os만들 능력자 있나요? [2]	왓더(211.246)	12.01.15	115	0
298859	형들 해킹에 대해서 궁금한게 있는데	ㅁㄴㅇㄹ(121.158)	12.01.15	75	0
298857	신입 입사 지원할때 포트폴리오로 OS 하나 만들어서 할려고 했는데 [8]	ㅁㄴㅇㄹ(59.30)	12.01.15	193	0
298856	크롬느님은 왜 갤질하면 자꾸 뻗지	dlbo	12.01.15	32	0
298855	플그래밍 잘하는님아들 [8]	존슨즈아기화장수	12.01.15	145	0
298854	댓글돌이까지만 소환해보자 [7]	띠로리로리	12.01.15	110	0
298853	ㅁㄴㄹ	ㅁㄴㄹ(125.135)	12.01.15	23	0
298852	횽들 ios/안드로이드 모바일게임 개발하려면 초기 투자비가 얼마쯤 깨져? [6]	ㅇㅇㅇ(221.147)	12.01.15	122	0
298851	ㅁㄶㅁㄶ	ㅁㄴㄹ(125.135)	12.01.15	28	0
298850	형님들 php나 제로보드로 대학총동문회 사이트 만들어야 되는데 도와주세요 [6]	123(121.88)	12.01.15	93	0
298849	해외 해외 하니 나도 목표중 하나가 해외 대학원..	+어게인	12.01.15	89	0
298848	어디에 있는 코드게? [1]	elwlwlwk	12.01.15	66	0
298847	컴자격증 많이 따보신 님들아 [5]	비수쉴드	12.01.15	104	0
298844	나 고3때 수리 가 모의 100점 맞았었음.. [2]	ㅋㄱ(183.96)	12.01.15	95	0
298843	치킨 무시하지 마라능. ㅇㅇ [1]	☎v2.0™	12.01.15	81	0
298842	형들 나 수리5등급에 수포자인데ㅋㅋㅋ [3]	어려운리눅스	12.01.15	98	0
298841	형들 나 아랫글보니궁금한거 [1]	코딩...?	12.01.15	49	0
298840	컴공? 컴과? [9]	전과생(121.167)	12.01.15	205	0
298839	어플,프로그램,웹사이트 만들려면 무슨학과가야되요? [6]	어려운리눅스	12.01.15	121	0
298838	파이썬 input() 함수 질문좀 [2]	ThinkCHAN	12.01.15	173	0
298837	해외 회사 입사 내가 아는 루트들. ㅇㅇ [3]	☎v2.0™	12.01.15	207	0
298836	으엥	코딩...?	12.01.15	35	0
298835	이거 왜이런거에요ㅠ 댓글점여ㅠ 심각해요ㅠ [1]	글쓴이(121.165)	12.01.15	74	1
298834	Win7 64bit VS2010에서 FreeGLUT 사용 - 링크 오류 [9]	wiu	12.01.15	273	0
298831	킁.. 집에서 회사일 하기 무지 싫넹. [10]	☎v2.0™	12.01.15	150	0
298829	프로그래밍을 배우고싶은 학생이질문하나해요 ㅠㅠ [2]	초보(211.229)	12.01.15	67	0
298828	뜬금없지만 라면 종결자 [4]	바보플머(222.121)	12.01.15	140	0
298826	프로그래머로 미국회사 취업하려면 스펙어느정도 되야돼? [5]	ㅁㅁㅁ(121.164)	12.01.15	279	0
298825	엔진이 한종류인줄로만 알았는데 아니네.. [7]	+어게인	12.01.15	138	0
298823	클라이언트 프로그래머 되려는데 커리큘럼 비교좀 해주세요!!!!!!~~~~ [2]	맹러(175.123)	12.01.15	137	0
298821	전에 나 집에 있을때 집으로 온 전화 기억난다 [2]	dlbo	12.01.15	44	0
298818	횽들 class를 사용하려면 iostream이 필요한거야???? [1]	플밍 초보 (121.164)	12.01.15	4721	0