아래 웹크롤러 글..

K(125.186) 2011.12.31 18:34:34

조회 284 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	이성 보는 눈 없어서 걱정되는 스타는?	운영자	25/11/10	-	-
AD	겨울가전 SALE! 쿨한 겨울 HOT세일	운영자	25/11/12	-	-
297121	같은 신입인데 누군 게임만하고 누군 바로 일하고.. ㅅㅂ [9]	+어게인	12.01.04	284	0
297120	서울공항? 성남 비행장 말이지.. [3]	iljeomobolt	12.01.04	299	0
297118	아.. 또 밤샛네여 ㅠㅠ [3]	[성대아싸]	12.01.04	133	0
297116	리팩토링을 보려고 했는데. [1]	코코(121.161)	12.01.04	81	0
297115	형들 컴공이 취직힘들어? [3]	김탱구○	12.01.04	315	0
297114	소멤 지원해보신분!!!!!!!!!!! [4]	읭읭(122.128)	12.01.04	256	0
297113	형들 야마하에서 컴공도 뽑을까?	톰슨가젤(203.255)	12.01.04	59	0
297111	나두 몇년전엔 디씨프갤에서 찌질이 뉴비였다. [3]	킁(121.184)	12.01.04	180	0
297110	아직도열심히 [2]	신비의섬죶도	12.01.04	95	0
297108	IT는 일찍일찍 때려치는 게 답인 것 같다. [5]	리뷰어(116.41)	12.01.04	306	0
297107	게임 매크로 하나 만들고싶은데요....	양양이양	12.01.03	253	0
297106	지금 1시간 반째 씨름중이야 ㅠㅠ [3]	어떡해(203.171)	12.01.03	154	0
297105	형들 봐주세여 ㅠ.ㅠ	라이브(117.123)	12.01.03	58	0
297100	손이 얼어서 코딩이 안된다 히밤.. [4]	ㅇㅇ(119.71)	12.01.03	86	0
297098	놀라운...프로그램^+++++++++?	학교가자	12.01.03	58	0
297096	형들 취업할 수 있을까?? [1]	아가리(122.32)	12.01.03	92	0
297095	운영체제 윈7 32비트에 컴파일러 vc++ 2010 쓰는데 [5]	Ef	12.01.03	140	0
297094	가벼운 마음으로 구루구루 애니 봤는데... [1]	생각놀이	12.01.03	91	0
297093	네트워크 책 뭐읽었음?? [2]	C_Perl	12.01.03	78	0
297092	형들 mathmatica쓰시는분 계셔요? [2]	공대쌩(183.103)	12.01.03	83	0
297091	웹쟁이님들 졸라 간단한거 묻고싶습니다. [1]	웹징징(183.105)	12.01.03	89	0
297090	Java에서요 클래스 나누는 기준이 뭐에요?? [4]	ddd(202.31)	12.01.03	111	0
297089	어떤 회사가 방위산업체인지 아닌지 확인하는 방법없나여?	고음병말기	12.01.03	103	0
297088	근데 hosts에서 지정한 특정주소 말고 전부 127.0.0.1로	ㅇㅇㅇ(121.144)	12.01.03	48	0
297087	JAVA클래스 개념 VS C 포인터 개념 [3]	,,,,(203.253)	12.01.03	132	0
297085	ABAP하는사람 있냐	sap(58.230)	12.01.03	88	0
297083	안드로이드 통신 예제 어디없을까 [3]	애슐리_그린	12.01.03	106	0
297082	코딩은 하고 다니냐.....? [1]	퓨리님(111.91)	12.01.03	81	0
297080	님들 이것좀 가르쳐줘요 [8]	프로그래밍초보(222.119)	12.01.03	117	0
297079	닥치고 [2]	ㅇㅇㅇ	12.01.03	64	0
297077	저번에 먹튀당한거같다던 프로그래밍 알바 [2]	뇌지랄	12.01.03	182	0
297076	모에화 고인능욕? [3]	Ａrian	12.01.03	165	0
297075	안드로이드 모에화? [1]	시불라미	12.01.03	115	0
297074	비주얼 스튜디오 사용할 때, Dev-C처럼 프로젝트 생성없이실행 못함? [5]	U10	12.01.03	107	0
297073	소켓 프로그래밍 Nagle 알고리즘 질문 있어요. [4]	ㅇ(218.209)	12.01.03	154	0
297070	0과 1로만 코딩하는거 허세인거냐 탈인간인거냐 [4]	ㅇㅇ(220.78)	12.01.03	181	0
297068	자바 이클립스 왜환경설정이 안눌러질까	Ａrian	12.01.03	54	0
297065	광패님 이거 어때요?	쿠마코	12.01.03	42	0
297064	헤헤 뱃살이 예전보다 덜잡히니 좋다 [6]	SODMaster	12.01.03	104	0
297062	일요일부터 LOL 을 시작했다. [1]	외계달팽	12.01.03	89	0
297061	만들려고 했던 게임 일명: 가카 헌정 게임 [5]	거칠게	12.01.03	156	0
297060	API함수중에 마우스 관련 레퍼런스 좀 갈켜줭. [5]	CHALLENGER	12.01.03	90	0
297059	헤헤 HTML5 도 공부 중 아오 머리 아퍼 ㅋㅋㅋㅋ [2]	거칠게	12.01.03	127	0
297056	HTML 5 드래그 드랍 예제 소스	거칠게	12.01.03	130	0
297055	드래그 드랍 코드는 수정했는데 크롬과 익스9에선 안됨 [6]	거칠게	12.01.03	97	0
297054	서류는 합격.. [1]	ㅋㄱ(183.96)	12.01.03	130	0
297052	(수학정석)어떤선생님이 기초개념부터 차근차근 원리부터 설명을 해주시나요? [4]	아인슈타인(182.215)	12.01.03	167	0
297051	시밤 HTML5 드래그 드랍이 잘 안되는데 누구 이거 되는사람~ [2]	거칠게	12.01.03	84	0
297049	형들 합격전화왔는데 조언좀 ㅠㅠ [7]	ㅁㄴㅇㄹ(59.30)	12.01.03	187	0
297048	우리 사장 발정난거 같다	□ㅁ	12.01.03	102	0