디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 58 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 현대물보다 사극에서 더 빛나는 남자 배우는? 운영자 25/09/08 - -
AD 가전디지털, 액세서리 SALE 운영자 25/09/12 - -
2888215 개새끼에게는 개새끼으 ㅣ답이 정답이라는거 보여줘요? 넥도리아(220.74) 09.10 47 0
2888214 국민의힘 십새끼들. 십새끼당, 차단한 사유 상납견? 넥도리아(220.74) 09.10 56 0
2888213 중국의 경제 56%는 3선 4선도시가 책임진다 프갤러(175.197) 09.10 64 0
2888211 솔직히 개발자중에 프로그래머라고 할만한인력은 극소수임 네오커헠(61.253) 09.10 98 0
2888205 애널의달성 1///4(2) ♥Sub2냥덩♥갤로그로 이동합니다. 09.10 45 0
2888204 ㄹㅇ 개피궁하넹 ♥Sub2냥덩♥갤로그로 이동합니다. 09.10 79 0
2888203 프로그래밍갤에 왜 프로그래밍글이 없는것이죠? 네오커헠(61.253) 09.10 79 0
2888201 카리나 몸매 죽이네 ㄷㄷㄷ ㅇㅇ(118.235) 09.10 104 0
2888200 쏘카 연락 온 사람 없어? 프갤러(110.13) 09.10 46 0
2888199 나 맥주사러 가는중 ㅇㅅㅇ 금주 2주만에 깨짐 ㅇㅇ(223.39) 09.10 40 0
2888194 태어나도 남쪽에 태어남 문재인 윤석열 이준석 보유국ㅋ북쪽 김정은 시진핑 타이밍뒷통수한방(1.213) 09.10 48 0
2888192 요리 잘하는 사람 있나?? 왜 내 음식은 금방식고 맛대가리 없어짐?? [3] ㅇㅇ(223.39) 09.10 66 0
2888190 사련 프갤러(211.32) 09.10 46 0
2888189 ■자프링말고 취업하기 좋은 틈새분야 어디없나 [2] ㅇㅇ갤로그로 이동합니다. 09.10 103 0
크롤러하면 실력 는다 프갤러(59.14) 09.10 58 0
2888186 인터넷에서 사람 만나는거 어떻게 생각해?? 히키탈출하고싶어 [5] ㅇㅇ(223.39) 09.10 89 0
2888179 kt 금융사고 제가 하드에데가 5번 7번 또는 6번 8번 쇼트시켜 연관성 넥도리아(220.74) 09.10 50 0
2888178 오늘도 평화로운 중고나라 근황 ㅇㅇㅇㅇ(115.144) 09.10 53 0
2888175 바이브 똥코더 사태로 깨달은 점 [1] 프갤러(27.173) 09.10 122 0
2888174 ■요즘 같은 레드오션에는 서합율 몇프로 나와야 ㅍㅌㅊ냐 ㅇㅇ갤로그로 이동합니다. 09.10 76 0
2888173 여긴 왜 미정갤 2중대 됐냐? [2] ㅇㅇ(116.39) 09.10 88 0
2888172 아스카 오늘 주식에 700 질렀다 [4] 아스카영원히사랑해갤로그로 이동합니다. 09.10 126 0
2888171 2년차 퍼블리셔 회사 망해서 나온 후 국비 부트캠프 듣고 있는데... [2] 프갤러(182.228) 09.10 143 0
2888170 도모다찌 한명 잃었다 [1] 초코냥갤로그로 이동합니다. 09.10 135 0
2888169 뭐 만들만한 앱 없나.. ㅎㅎ [5] 나르시갤로그로 이동합니다. 09.10 114 0
2888168 요즘 멘탈나가서 손에 아무것도 안잡히고 멍함... [1] ㅇㅇ(223.39) 09.10 64 0
2888167 같이 졸프했던 형님 생산직으로 가부렸누 [2] 프갤러(218.51) 09.10 95 0
2888166 재벌 아니몀 금 사지 마라. [1] 나르시갤로그로 이동합니다. 09.10 66 0
2888164 긍데 마크다운 에디터가 돈이 됨? 나르시갤로그로 이동합니다. 09.10 47 0
2888163 프갤 << 의외로 군필 많이 없을거같음 [5] 류도그담당(118.235) 09.10 106 0
2888162 요즘재벌들2세들은 군대로 튀는게 정석이누 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [1] 뒷통수한방(1.213) 09.10 73 0
2888161 금 오른다는데 살까? hrin(118.235) 09.10 41 0
2888160 죷팡 출근할때마다 매일 아침 씹가튼 부분 메쿠이료갤로그로 이동합니다. 09.10 41 0
2888159 제2판교 ㅈ대노 [1] hrin(118.235) 09.10 111 1
2888158 자나깨나 게이 조심 ♥Sub2냥덩♥갤로그로 이동합니다. 09.10 43 0
2888156 서방의 은혜를 기억하자 [16] 개멍청한유라갤로그로 이동합니다. 09.10 108 1
2888155 중고를 말도 안되는 가격에 올린 사이트 알아보니 스캠이네 프갤러(223.39) 09.10 46 0
2888154 한 회사에 15년 근무했는데 이직 하려고 저스트두잇이여(211.108) 09.10 54 0
2888153 자연인 승윤이 윤택이도 노인때묻어서 월천에 보너스도 몇백 버네 ㅋㅋㅋ 뒷통수한방(1.213) 09.10 36 0
2888152 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥Sub2냥덩♥갤로그로 이동합니다. 09.10 53 0
2888151 ai가 다 해준다는 병신들 특징 [3] 프갤러(218.154) 09.10 120 3
2888150 더운데 추움 ♥Sub2냥덩♥갤로그로 이동합니다. 09.10 56 0
2888149 워렌버핏의 주주서한 완독 후 눈물 쏟는 중 [8] 아스카영원히사랑해갤로그로 이동합니다. 09.10 89 0
2888147 역시 책을 읽어야한다 류도그담당(118.235) 09.10 57 0
2888145 조직스토킹 피해, 핸드폰 도청까지? [1] 프갤러(182.218) 09.10 76 0
2888142 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥Sub2냥덩♥갤로그로 이동합니다. 09.10 54 0
2888139 요즘 이 일을 언제까지 할 수 있을지 슬슬 걱정 됨. Naro갤로그로 이동합니다. 09.10 70 0
2888136 ai 평가절하 상당수는 이럼 [6] ㅇㅇ갤로그로 이동합니다. 09.10 110 1
2888135 요즘 미장갤에서 논다 [6] 아스카영원히사랑해갤로그로 이동합니다. 09.10 93 0
2888134 폴란드전쟁에 한국군도 투입해야한다 생각해요.. [12] 개멍청한유라갤로그로 이동합니다. 09.10 98 1
뉴스 TOIL(토일), 오늘(11일) 영화 '첫사랑 엔딩' 컬래버 음원 '염염상망' 발매…첫사랑 설렘 극대화 디시트렌드 09.12
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2