아래 웹크롤러 글..

프로그래밍 갤러리

자동 짤방 이미지

이미지가 없습니다.

자동 짤방으로 사용할 이미지를 등록해 주세요.

1/3

싱글벙글 한국여자보고 좋아죽는 아스몬골드 근황 오랜만에 보는 "진짜 여자" 미연시해보고양놈들 전부 정신 못차리는중집게손 논란있긴한데 해명은 했다는듯 작성자 : 키배전사

K(125.186) 2011.12.31 18:34:34

조회 294 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	뛰어난 운동 신경으로 남자와 싸워도 이길 것 같은 여자 스타는?	운영자	25/11/24	-	-
이슈	[디시人터뷰] 충무로가 주목하는 신예, '세계의 주인' 서수빈	운영자	25/11/24	-	-
AD	대학생 필수템! What's in my Bag	운영자	25/11/21	-	-
297210	대학다닐때 친구들이랑 이런농담 많이했었는데	영어쓰던남자	12.01.04	99	0
297209	컴갤러님들 자살하는방법 가르쳐드림 [4]	zvcx(121.157)	12.01.04	140	0
297208	배틀필드4를 만들어보고싶습니다 도와주세요 [3]	BF4(121.157)	12.01.04	107	0
297207	Picking 테스트.. (크롬, 파폭) [3]	[성대아싸]	12.01.04	127	0
297205	학점올랐당! [3]	elwlwlwk	12.01.04	109	0
297204	배열질문한애 해결했다는글 올라오지 않았었나? [7]	영어쓰던남자	12.01.04	102	0
297201	초대졸 전공자인데 SI그렇게 개 씨레기인가요? [2]	배지홍(210.205)	12.01.04	211	0
297200	고닉부심따위.. [1]	ㅋㄱ(183.96)	12.01.04	60	0
297199	안드로이드 Context가 도대체 뭐하는애야 [2]	belkin	12.01.04	113	0
297198	다들 퇴근 안하냐? [1]	□ㅁ	12.01.04	65	0
297196	아스트라로테 횽이 프갤이랑 제일 잘 맞는듯.. [5]	ㅁㄴㅇㄹ(59.30)	12.01.04	90	0
297195	아 안드로이드 소켓 왜이런다냐;; [8]	lucy_han	12.01.04	129	0
297193	헐 ㅋㅋ 내가 대학 졸업하면 만들려던거 나와버렸네 ㅋㅋ ㅅㅂ.jpg [3]	Stan(220.244)	12.01.04	243	0
297191	아파치 잘하는분들 좀 도와주세요 ㅠ [1]	ㅁㄴㅇㄹ(222.108)	12.01.04	75	0
297190	디자이너한테 psd파일 넘겨받은다음 개발자는 뭘 어떻게해야돼나요? [10]	얼룩돼지	12.01.04	184	0
297188	해커들 참 대단하네여ㅎㅎㅎ [1]	신기함(58.150)	12.01.04	184	0
297187	imbc 웹개발 이런데 들어가면 근무환경 좆같을까?? 네임드인데 어떰??	ㅁㄴㅇㄹ(59.30)	12.01.04	98	0
297186	지금부터 c언어 시작하면 배틀필드 4같은건 언제 만들수 있나요 [4]	야요이	12.01.04	191	0
297185	연극.. 다시... [1]	iljeomobolt	12.01.04	83	0
297184	배필4를 만들어보고 싶습니다. 언어추천좀 [5]	야요이	12.01.04	116	0
297182	visual c++ 2008 이거 윈도우7 하고 호환 안돼요? [9]	d(180.69)	12.01.04	402	0
297181	액티비티간 통신 어떻게 구현했더라?? [9]	lucy_han	12.01.04	112	0
297180	형들 학원때매 질문좀 할께 [5]	대갈빠가(112.151)	12.01.04	125	0
297177	50% 라고?????	ㅋㄱ(183.96)	12.01.04	73	0
297175	연극... [1]	iljeomobolt	12.01.04	87	0
297174	어제까지 잘되던 톰캣이 갑자기 다 안되요 도와주세요 ㅠㅠ [7]	어떡해(203.171)	12.01.04	149	0
297173	너네 자꾸 해킹 해킹 하는데 [1]	ㅇㅇㅇ	12.01.04	128	0
297172	횽들 전공 컴과인데 1학년때 뭐배워? [4]	cs컴싸(115.139)	12.01.04	159	0
297171	기아 레이 100대 이벤트 한다	□ㅁ	12.01.04	61	0
297170	오늘 문득 낙오자가 된 기분을 느꼈어 [8]	ㅁㅁㅁ(211.232)	12.01.04	160	0
297169	dc 글싸는데 왜 사진 첨부가 안되	□ㅁ	12.01.04	83	0
297168	요즘 돈이 되는 항목들 찾으려면.. [1]	☎v2.0™	12.01.04	116	0
297167	php 초보잔데요 [3]	ㅇㅇ(210.90)	12.01.04	93	0
297166	형들아 telnet접속 하는걸로 POP서버 접속했는데 [3]	꿀레(202.30)	12.01.04	93	0
297164	삼성 소멤 쓰신분들! [6]	ㅅㅅㅅ(118.39)	12.01.04	516	0
297162	여기요.........??..../// [1]	학교가자	12.01.04	52	0
297161	해킹은 어떻게 공부해야되나요? [12]	저격甲	12.01.04	223	0
297160	아무리 생각해봐도 디씨 게시판 넘 꼴았는데.... [11]	야요이	12.01.04	157	0
297159	괜찮은 커뮤니티좀 알려주세요 [4]	야요이	12.01.04	89	0
297157	C++로 게임 만드는 예제 사이트좀 알려주세요 [6]	야요이	12.01.04	145	0
297156	웹서버와 WAS 서버 차이점 머죠? [3]	야요이	12.01.04	259	0
297155	서버프로그래밍좀 할줄 아시는분 계시능가? [3]	SODMaster	12.01.04	115	0
297153	횽들아 나 c언어 공부중인데 초보적인것좀 갈켜줘 제발 [20]	횽들아(112.149)	12.01.04	158	0
297152	드림하우스	이모군(175.114)	12.01.04	46	0
297151	인사평가 기간이다. [1]	21C노가다	12.01.04	143	0
297150	mysqlcppconn 에서 lib 를 링크해주는 부분은 어디있나염?	궁금이(59.13)	12.01.04	68	0
297149	pdf password remover 질문!	♥한효주♥내꺼	12.01.04	56	0
297148	크롬으로 농협들어가면 모바일웹으로 가지네	이힝(121.177)	12.01.04	58	0
297147	oracle질문할게요....	oracle질문(14.32)	12.01.04	493	0
297144	아 진짜 쿨하게 어떻게 거절하냐... [3]	일광면(119.198)	12.01.04	176	0