디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 51 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 현대물보다 사극에서 더 빛나는 남자 배우는? 운영자 25/09/08 - -
AD 가전디지털, 액세서리 SALE 운영자 25/09/12 - -
공지 프로그래밍 갤러리 이용 안내 [96] 운영자 20.09.28 47125 65
2888759 나는 존나 고수 프갤러(121.139) 11:06 12 0
2888752 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 10:50 15 0
2888750 한남들은 왜 이렇게 돼지같이 살찐애가 많음? [3] 류류(118.235) 10:43 27 1
2888748 장비회사랑 웹개발 프갤러(221.160) 10:09 12 0
2888747 스타트업이 아니고 영세기업. 프갤러(175.197) 09:57 13 0
2888746 곰곰히 생각해봤는데 결국 지능문제인듯 [6] 프갤러(58.76) 09:48 47 0
2888744 개좃소를 스타트업으로 포장하는거 좀 그만했으면 좋겠다. [1] 프갤러(110.8) 09:34 34 0
2888743 어제 너무 늦게자서 일할때 졸려서 혼났다..ㅇㅅㅇ [2] 헤르 미온느갤로그로 이동합니다. 09:16 18 0
2888742 에어로홍(=발명도둑잡기) 저새낀 또 차단당했네 ㅂㅅㅋㅋ [1] 박민준갤로그로 이동합니다. 08:55 33 0
2888741 와 념글씨발 [1] 박민준갤로그로 이동합니다. 08:55 22 0
2888740 강아지풀 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 08:50 13 0
2888739 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 08:44 12 0
2888738 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 08:44 20 0
2888708 성님들 신입이 소수 스타트업 들어가면 헬이겠죠? [2] ㅇㅇ(218.149) 05:28 48 0
2888692 페르시아왕자 전 버전 가라테카 리메이크 발명도둑잡기(39.7) 03:51 22 0
2888681 공장의 유치에 혈안이 된 시대, 한국만 공장을 내쫓고 있다 발명도둑잡기(39.7) 03:25 23 0
2888679 온도는 기본상호작용과 무슨 관계 발명도둑잡기(39.7) 03:08 16 0
2888673 양자가 뇌파나 염력에 의해 영향을 받을 수 있는지 연구 발명도둑잡기(39.7) 02:57 22 0
2888670 뇌파의 도달 거리 발명도둑잡기(39.7) 02:35 26 0
2888668 전자 크기 수준 난수 발생기 발명도둑잡기(39.7) 02:31 22 0
2888667 사람이 쇼츠만 안봐도 삶이 3배는 늘어남ㄹㅇ ㅇㅇ(223.38) 02:30 22 0
2888663 보통 fe 포폴 웹페이지로 만들어? ㅇㅇ(118.235) 02:11 21 0
2888662 아날로그 반도체 발명도둑잡기(39.7) 02:06 22 0
2888660 Furiosa Warboy tutorial 발명도둑잡기(39.7) 01:54 24 0
2888659 아래 논쟁 중인 106.102 퓨리오사 이 글도 썼냐 [3] 발명도둑잡기(39.7) 01:40 65 0
2888656 [속보] 한국 스타트업 일냈다.. 오픈AI 협업 발표, 엔비디아 대체 성 발명도둑잡기(39.7) 01:14 43 0
2888650 모모 내가 데려갈게? ㅋ 개멍청한유라갤로그로 이동합니다. 00:51 36 0
2888649 [긴급공지개념] 앞으로 갤에서 모모 김희철 불손한 목적으로 언급 금지! ♥냥덩이♥갤로그로 이동합니다. 00:44 35 0
2888647 크롬, 엣지 확장기능 핀 버튼 이상한 거 왜? 발명도둑잡기(118.216) 00:24 22 0
2888646 능력것 보상받지 못하는 나라여도 뒷통수한방(1.213) 00:11 35 0
2888645 크롬 버그 뭐임? 프갤러(61.76) 00:10 32 0
2888643 바이브 코딩 혼자하면 괜찮은데 협업이면 진짜 살인충동 듭니다. 프갤러(110.8) 09.12 45 0
2888642 <너의 결혼식> 본 소감과 CIA 이야기 [2] 발명도둑잡기(118.216) 09.12 59 0
2888641 솔직히 모르겠다 시발 걍 인생 의미 없는거같음... ㅇㅇ(223.38) 09.12 40 0
2888639 저장용 [1] ♥냥덩이♥갤로그로 이동합니다. 09.12 46 0
2888638 “한의사를 공공의사로 전환하자” 국민 찬성 여론 70% 육박 발명도둑잡기(118.216) 09.12 24 0
2888637 요즘 바이브코딩 한다고 깝치는새끼들 왜이리 줫같지 [5] 프갤러(220.94) 09.12 67 0
2888636 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.12 67 0
2888635 오늘 자전거 타다가 휴대폰 놓쳐서 아래 부분 약간 깨졌다 발명도둑잡기(118.216) 09.12 23 0
2888633 야차룰이 아니라 스파링이겠지 병신아 ㅇㅅㅇ 류류(118.235) 09.12 30 1
2888632 주갤도태남 롤대남 2찍 4찍이 발악하는거라 류류(118.235) 09.12 27 0
2888631 류류 조루디(118.235) 09.12 31 0
2888630 류류 조루디(118.235) 09.12 27 0
2888629 류류 조루디(118.235) 09.12 33 0
2888628 하기야 고졸 백수 무직인데 개병대가 유일한 부심이지 류류(118.235) 09.12 24 0
2888627 일본 이지랄 [1] 프갤러(106.102) 09.12 41 0
2888626 류류 [1] 조루디(118.235) 09.12 38 0
2888625 인생 업적이 군필인가 보네 류류(118.235) 09.12 27 0
2888623 이건 뭔 에러냐 [1] 류류(118.235) 09.12 48 0
뉴스 오데마 피게, 창립 150주년 기념 ‘코드 11.59 바이 오데마 피게’ 컬렉션 공개 디시트렌드 09.12
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2