아래 웹크롤러 글..

프로그래밍 갤러리

자동 짤방 이미지

이미지가 없습니다.

자동 짤방으로 사용할 이미지를 등록해 주세요.

1/3

전광훈..빤스목사...꼬리자르기 시전ㅋㅋㅋㅋㅋ ㅇㅇ
"씻으라고 말했을 뿐인데 학교폭력 가해자 됐다" 트이로프
중국 베이징에서 한국인 슈퍼미녀 유튜버가 겪은 일.jpg 옌우응
말하기 힘든...여자 신체부위 ㄹㅇ...jpg Adidas
단독) "김기현....청탁금지법 한도 넘겼다"ㅋㅋㅋ ㅇㅇ
지옥지옥 실시간 지옥으로 변했다는 일본 시골마을 ㅁㅁ
개망신 당한 일본.. 주머니에 손 넣은 중국..jpg 수능디
미대사관 신안 염전노예 조사 ㅇㅇ
어도어·뉴진스 둘 다 문체부 조사 받는다 팀민희진
대기업 진짜 정년 채울 수 있는 거 맞아?.blind 실베무무쿤
‘OO인 입국 중단’ 현수막 안된다…행안부, 혐오·비방 표현 금지 ㅇㅇ
3일동안 코스한 지스타 후기 타코야끼는맛있
중국인들은 어느 나라를 싫어할까..jpg 데얀베리치
(경기도교육청 홍보 영상 논란) 안녕하세요 사태 공론화에 참여했던 중등교사 중 한명입니다. 금쪽이
[단독]법무차관-노만석, 수차례 텔레그램 연락 고맙슘봐

러닝하는 누나들.......인스타 ....... 미녀들만 러닝하네 ㄷㄷㄷㄷㄷ 작성자 : ㅇㅇ

K(125.186) 2011.12.31 18:34:34

조회 290 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	대박 날 것 같아서 내 꿈에 나와줬으면 하는 스타는?	운영자	25/11/17	-	-
AD	겨울가전 SALE! 쿨한 겨울 HOT세일	운영자	25/11/12	-	-
297745	티스토리에서 HTML5 워커 적용하기 (크롬, 파폭, 오페라) [2]	[성대아싸]	12.01.08	136	0
297742	형님들 오토마타란 게 무엇이다나요?? [8]	,,,,(112.148)	12.01.08	213	0
297741	failed to open stream: HTTP request fail	jwseo(210.125)	12.01.08	151	0
297740	아 스프링 이거 참 거시기 하네	ㅇㅇ(59.26)	12.01.08	69	0
297739	컴공인데..이번학기 백분률 96.4로 나오는데 이정도면 내 밑에 몇명임? [1]	ㅇㅇ(61.75)	12.01.08	110	0
297738	자바랑 c++랑 속도 차이 심해요? [8]	↗수학↖	12.01.08	160	0
297736	아래쪽에 로그인,로그아웃 세션질문한 궁금해요님 보세요 [1]	영어쓰던남자	12.01.08	62	0
297735	프갤러라면서 낚시파일 뿌리는애 잡음ㅋㅋ [4]	정수정•‿•	12.01.08	238	0
297734	프갤 성님들 질문좀 할게요 [3]	주민등록번호(118.39)	12.01.07	54	0
297733	혹시 윈도우 7에서 바이러스포함되있다고 삭제시키는기능 [2]	유동닉24호(115.21)	12.01.07	7014	17
297732	참나 모른다면 모르지.. 글은 왜 지우고 질알	일광면(119.198)	12.01.07	52	0
297729	형들 오늘 부터 C++ 배운는데 visual express 2010실행? [1]	쒦뚫쉚뚫샒휆뚫뚫쒦	12.01.07	76	0
297728	로그인중이면 LOGOUT, OPTION이 보이게하고싶은데;	궁금해요(203.171)	12.01.07	48	0
297725	자바의정석책살거임! [3]	IMhouse	12.01.07	164	0
297724	비쥬얼베이직이야기 [2]	영어쓰던남자	12.01.07	107	0
297723	프갤 횽들! 키보드 뭐 써? [6]	쿠마코	12.01.07	143	0
297721	언어선택이중요함? [10]	IMhouse	12.01.07	138	0
297720	이상한 의문이 생겼는데 물어봐도 될까요? [4]	궁금해요(203.171)	12.01.07	110	0
297719	망치고 온 면접 후기	한마음택배(114.202)	12.01.07	171	0
297718	c언어때문에 고민되네요. [3]	아정말(112.186)	12.01.07	131	0
297717	자바 array 관련질문좀 [4]	해외거주중	12.01.07	130	0
297715	안녕하세요 jquery html5어떤걸 먼저 배우는게 좋아요? [1]	하응(222.107)	12.01.07	104	0
297714	인생션배들ㅠ조언좀 [2]	IMhouse	12.01.07	89	0
297713	형들 ActiveX를 대체할만한 기술이 있을까?? [1]	엑티브엑스(112.218)	12.01.07	168	0
297712	gdb 아시는분들만 .. [4]	똘꾸	12.01.07	74	0
297711	노력한다고 모두 성공하진 않지만 [5]	전방수류탄＊	12.01.07	149	0
297710	포인터 배열 크기를 아는 방법 좀 알려주세요. [9]	에이시아(125.31)	12.01.07	194	0
297709	3D엔진 그렇게 구현하기 힘드나요??? [4]	에이시아(125.31)	12.01.07	195	0
297707	꼬인다꼬여 [3]	FishKing	12.01.07	92	0
297706	병특 취업하는거 왜 이렇게 힘드냐 [11]	토페	12.01.07	232	0
297705	제 블로근데 이거 보임?? [11]	[성대아싸]	12.01.07	197	0
297704	김문수 - 나 도지사 김문숩니다(feat.남양주소방서) [2]	아이유공부법	12.01.07	73	0
297703	1 인생 계획 [1]	1(211.197)	12.01.07	79	0
297702	횽들 5공 컴공과에서 삼성갈수 있나여? [5]	헿헿(123.109)	12.01.07	277	0
297701	나 게임엔진 만들래! [12]	엔지니어링(175.116)	12.01.07	207	0
297699	아싸3디 , 티팟 하구 수잔 원숭이 추가 [6]	[성대아싸]	12.01.07	161	0
297698	도대체 이유가 뭘까? [9]	음..(175.211)	12.01.07	142	0
297695	i++이랑 i=i+1 이랑 다른것임? [6]	1(211.197)	12.01.07	181	0
297694	열심히 해서 성공하리라는 보장은 없음. ㅇㅇ [3]	☎v2.0™	12.01.07	126	0
297690	문제좀 해결좀.. [5]	이것좀..(175.211)	12.01.07	70	0
297687	C마스터 드립 지겹다. [3]	다채(211.230)	12.01.07	152	0
297685	어헝 삼성 전략기획실 다니는 넘한테 물어봤는데.. [1]	☎v2.0™	12.01.07	194	0
297684	이거좀 도와줘 [1]	elwlwlwk	12.01.07	80	0
297683	scheme 스킴x 스췜o [1]	elwlwlwk	12.01.07	75	0
297682	스레드 OR 안드로이드 질문좀	쿄스케	12.01.07	75	0
297681	에플릿 에러 왜뜨는거야	ㄱㄷㅈ(175.201)	12.01.07	140	0
297680	c++질문좀... [3]	잉크(125.177)	12.01.07	139	0
297677	근데 이문동쭈쭈바횽 프갤접었나여?	추상화	12.01.07	64	0
297675	시발 되도않는 연애 때려치우고 공부할겁니다 [5]	추상화	12.01.07	156	0
297674	휴일출근.. [4]	토쏠려(14.52)	12.01.07	108	0