아래 웹크롤러 글..

프로그래밍 갤러리

자동 짤방 이미지

이미지가 없습니다.

자동 짤방으로 사용할 이미지를 등록해 주세요.

1/3

싱글벙글 야끼우동 KIM쓰렉
싱글벙글 경제위기에 대응하는 방법 ㅇㅇ
핵잠수함 팩트시트... 불발 ㄷㄷ...News ㅇㅇ
중국여자들에게 인기 중인 흑인 근황...JPG ㅇㅇ
96만 유튜버 대보짱 가짜뉴스 사건을 본 日반응... 대보짱 폭망?! 난징대파티
단독] '한미 비자 핫라인' 구축 합의했다…팩트시트 곧 마무리 ㅇㅇ
ocn 근황..jpg ㅇㅇ
싱글벙글 다 보려면 70일 걸린다는 이집트 대박물관 민간 공개 수인갤러리
미국 투자 200억달러 재원 마련'비상' 조커
가질 수 없다면 부수겠다... 3개월 딸 잔혹하게 살해한 스시녀 난징대파티
단풍없는 가을사진 다 가을에찍은거야 ㅅㅂ꺼
동남아에서 유행 중인 한국 저격 영상.jpg 마루스쿠
하츠네 미쿠, 첫 내한 공연 소식에 티켓 사이트 상황과 클리앙 반응 묘냥이
2025 여주 오곡나루 축제 중국군 등장 ㅇㅇ
초등생 성매수하려던 20대男 인천에서 체포..jpg ㅇㅇ

개그맨 이상준이 자동차를 다 팔아버린 이유.jpg 작성자 : ㅇㅇ

K(125.186) 2011.12.31 18:34:34

조회 275 추천 0 댓글 4

보통 대형사이트들은 사용자 접속 로그 분석해서,

단위시간당 대량으로 접속하는 IP나 MAC을 구분하여 일정시간 시스템적으로 차단시키는 장비를 가동하고 있습니다.

웹크롤러 초짜들이 하는 가장큰 실수는 시드 URL하나에 대해서 너비/깊이 우선 탐색등,

고전적인 방식으로 URL을 수집해 보는 방식인데,

이렇게 하면, 시드 사이트에 과부하 요인으로 작용해 차단크리를 ㅊ맞게됩니다..

일반적으로 웹크롤러는 분산 서버로 동작하고,

수집 URL을 DB나 혹은 특정 파일시스템 등을 이용하여 하나의 서버에서 관리하는 형태로 구성됩니다.

URL 수집시 보통 Seed에서 뽑아낸 URL List를 다른 Seed에서 뽑아낸 URL과 적절히 썪어서, 순서를 거의 Random하게 구성합니다.

이렇게 해야만 대상사이트의 Log분석 장비의 필터링을 피해갈 수 있습니다.

최근 추세는 자주 변경되는 URL리스트 만을 집중적으로 크롤링하여, 서버에 가해지는 부하량을 최소화 하고 있습니다.

좋은 크롤러를 보는 기준은 초당 얼마나 많은 URL을 수집하느냐 입니다.

그래서 CPU 사용율이 허락하는 한 최대한 많은 소켓을 열어 단위시간 동안 많은 URL을 수집하도록 되어있습니다.

로그분석을 피하기 위해 Sleep이나 Delay를 줬다.. <- 면접에서 이렇게 말하면 패망의 지름길임을 명심하십쇼..

- 무서운이야기 : 우리회사 올해 PS없다고 직원사기가 많이 떨어졌다고 신문에서 봤다..

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	해외에서 겪는 불합리한 대우에 대응 잘 할 것 같은 스타는?	운영자	25/11/03	-	-
AD	저녁 뭐먹지? 오늘의 메뉴 추천!	운영자	25/10/31	-	-
296649	그럭저럭대학 컴공 vs	유동(125.142)	11.12.30	101	0
296647	퇴사한다고 했는데 1시간 넘게 설교 들으면 내가 인재라서 붙잡을려는거냥 [6]	므해?	11.12.30	187	0
296645	와 컴터 고쳤다! [3]	외계달팽	11.12.30	97	0
296644	이번 주말은 연말더하기 신년이네	간지어	11.12.30	43	0
296643	컴퓨터과학과 우선선발 됐는데 [2]	종간이	11.12.30	115	0
296641	나만 TV를 안 보는 게 아니었어 [1]	분당살람	11.12.30	75	0
296640	수학을 다시 공부하기로 했습니다. 늦깎이 입니다. 도와주세요. [1]	홍성대(182.215)	11.12.30	125	0
296639	한국엔 대단한 사람들이 참 많아 [1]	분당살람	11.12.30	148	0
296638	프갤형들 로그파일에 아이피도 찍힘? [1]	뻘찔죶중딩	11.12.30	73	0
296637	형들 지방 국립대컴공은 별로야?? [5]	유동(125.142)	11.12.30	181	0
296636	^-^ [5]	바보플머(222.121)	11.12.30	110	0
296635	개인사업 하기 전후 비교 [2]	.3(36.38)	11.12.30	147	0
296633	프로그램 뭐있냐. 버그 안나고 돌아가기만 하면되지 [2]	White_Wolf(58.102)	11.12.30	60	0
296632	다들 칼퇴해서 그런가 [1]	Dawnwalkre	11.12.30	30	0
296631	HTML5 발전방향은?	데헷(119.82)	11.12.30	48	0
296629	다들 퇴근하네 부럽다... [2]	쿄스케	11.12.30	64	0
296628	현업에 종사하시는 웹 프로그래머 형님들... 도와 주세요 [3]	안성철(211.197)	11.12.30	164	0
296627	개발은 97%의 디버깅과 3%의 코딩으로 이루어진다 [3]	ㅁㄴㄻㄹ	11.12.30	205	0
296626	메일 왔다 [1]	ㅇㅇㅇ(59.150)	11.12.30	56	0
296625	형들 안녕? [5]	좋은아버지	11.12.30	101	0
296624	잘생겨지고 싶다.. [1]	Lover♥	11.12.30	50	0
296621	제로보드 그누보드 같은 보드를 자체 제작하기 힘든가요? [3]	新(49.143)	11.12.30	93	0
296620	아 형들 저 퇴근해요ㅜ [1]	개떙보	11.12.30	55	0
296619	프로그래머들이 나중에 치킨집 전향한다는게 [3]	쿠마코	11.12.30	184	0
296618	다음학기 그래픽스 과목 듣는데....	땡칠도사	11.12.30	86	0
296616	아직도 메일 5분마다 확인하는 사람 있냐?? [3]	ㅇㅇㅇ(59.150)	11.12.30	91	0
296614	정상근무라는 회사 공지에 분노한 우리팀은 퀘이크 라이브를 하기로 했다 [2]	거칠게	11.12.30	110	0
296613	요즘... 박카스 박스로 갖다놓고 먹고 있음... ㅠㅠ [5]	흠냐(221.147)	11.12.30	93	0
296612	메일왔다~~~ ㅃㅃㅃㅃㅃ	ㅇㅇㅇ(59.150)	11.12.30	44	0
296611	퀘이크라이브라고 아는 횽 있어??	거칠게	11.12.30	49	0
296610	i5 vs i7 [7]	알오티씨플머	11.12.30	197	0
296607	이거때문에 머리 싸매고 있음 [6]	[성대아싸]	11.12.30	197	0
296606	퍼온거.	iljeomobolt	11.12.30	45	0
296605	점심시간 끝나면 [1]	ㅇㅇㅇ(59.150)	11.12.30	36	0
296603	집청소나 해야겠다	외계달팽	11.12.30	45	0
296599	오늘 회사 출근 안하는데... 집컴터가 고장닜다 [3]	외계달팽	11.12.30	78	0
296598	예전 인조이재팬 같은 사이트 만들기 힘드나요? [1]	新(49.143)	11.12.30	48	0
296596	내년에도 절대 망하거나 짤릴 일 없는 직종 목록 [1]	거칠게	11.12.30	128	0
296595	깨작깨작.. [2]	[성대아싸]	11.12.30	76	0
296593	신의 직장에 들어가고 싶다. 하악하악 [3]	거칠게	11.12.30	164	0
296592	열혈강의로 c언어 3월 달까지 공부하려고 하는데 [3]	프로갤러(119.198)	11.12.30	153	0
296591	에잇 시밤 점심시간이 다가오는데 공지가 없네 정상 근무 확정인가 보다 [1]	거칠게	11.12.30	46	0
296590	난 내년부터 회사 다니면서 전산직 공뭔 시험 몰래 볼꺼다 ㅋㅋㅋ [1]	거칠게	11.12.30	206	0
296587	어제 IT뉴스보다가 댓글을 발견했는데 [2]	거칠게	11.12.30	83	0
296585	내년 한국 IT 전망을 어찌 보는가염? [4]	거칠게	11.12.30	208	0
296584	기분상했으면 죄송해여 ㅜㅜ.. [2]	으아아아(125.142)	11.12.30	55	0
296581	5분마다 한번씩 메일을 체크하는 중이다. [1]	거칠게	11.12.30	53	0
296580	2011년 한해가 가고 2012년 흑용의 해가 다가옵니다 [2]	거칠게	11.12.30	67	0
296579	형들 요세 VB 많이씀 ? [1]	아리햏	11.12.30	90	0
296578	컴공나오면 연봉 천안팍밖고 3D업종이라는게 사실인가여? [3]	으아아아(125.142)	11.12.30	260	0