디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 72 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 군대 예능 출연해 줬으면 싶은 여자 스타는? 운영자 25/09/15 - -
AD 가전디지털, 액세서리 SALE 운영자 25/09/12 - -
2890205 러스트 못쓰는 조직의 수준이야 뻔한거야 프갤러(218.154) 09.19 25 0
2890204 나는 오히려 날 떨어뜨려준 회사에 감사하게 생각함 ㅎㅎ 프갤러(121.139) 09.19 28 1
2890203 모든게 다 남탓이다. 남이 일을 망친것이다. [1] 프갤러(218.154) 09.19 25 0
2890202 아가리로 겐세이 놓는 버러지들 쇠파이프로 패고 싶다. 프갤러(218.154) 09.19 16 0
2890201 재정이 불안한 남자 일수록 가슴 큰 여자를 선호한다 [1] 발명도둑잡기(118.216) 09.19 22 0
2890200 가자지구 학살 외면한 한국 정부... 침묵은 공모다 발명도둑잡기(118.216) 09.19 18 0
2890199 그러고 보니 내가다닌회사는 다 네임드가 있었음 프갤러(121.139) 09.19 28 0
2890198 홈페이지 퀄리티 구린 회사는 과학이네 [2] ㅇㅇ갤로그로 이동합니다. 09.19 60 0
2890197 [대한민국] 삼권분립과 국민의 상관관계 프갤러(121.172) 09.19 19 0
2890196 좆도 도움 안되는 간섭질에 너무 많이 방해받았다. 프갤러(218.154) 09.19 18 0
2890195 ai에이전트 이쪽 잘 아는사람 있음? ㅇㅇ(211.176) 09.19 25 0
2890194 그냥 좀 많이 열받네 오늘따라 [3] 프갤러(218.154) 09.19 44 0
2890193 네카라쿠베같은 대기업 들어갔을때 일못하면 다수 국민들한테 욕먹을까?? 프갤러(211.105) 09.19 33 0
2890192 형님들은 프로그래밍 감잡는데 몇년걸리셧나요 [3] Fjeoeieie갤로그로 이동합니다. 09.19 37 0
2890190 프갤에 남은애들 설명해주마. 프갤러(121.139) 09.19 33 2
2890189 프로그래밍 코드라는건 다 연결되어있는거죠? [3] Fjeoeieie갤로그로 이동합니다. 09.19 47 0
2890188 프로그래밍 한달공부해도 하나도모르겟는데 접을까요 [7] Fjeoeieie갤로그로 이동합니다. 09.19 65 0
2890187 메이드카페 7번 갔는데 메이드가 나 좋아하는 신호임? [1] 메쿠이료갤로그로 이동합니다. 09.19 46 0
2890186 나 유니티 3d도 할 줄 알긴 하는데? [2] 프갤러(121.172) 09.19 33 0
2890185 [애니뉴스] 귀인환등초 팬픽 소설 프갤러(121.172) 09.19 28 0
2890184 유니티 3d << 하는 사람 루도그담당(211.184) 09.19 31 0
2890183 전방위적으로 프로그래밍하는데 맥북 ㅈ같네 [2] 프갤러(211.51) 09.19 51 0
2890181 취업준비 어렵다...나만 그런건가 [10] 투몽갤로그로 이동합니다. 09.19 80 0
2890179 엑셀파일 깨지게 하는방법? [9] 프갤러(118.38) 09.19 58 0
2890178 비전공자 국비충 경력 3년 10개월 좆망한거 같은 느낌 [2] 프갤러(60.197) 09.19 58 1
2890176 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.19 27 0
2890174 ❤✨☀⭐⚡☘⛩나로님 시작합니당⛩☘⚡⭐☀✨❤ [4] Naro갤로그로 이동합니다. 09.19 39 0
2890171 커뮤보면 좇센스럽게 하정우수석 인기좇나 많누 [1] 뒷통수한방(1.213) 09.19 51 0
2890170 쇼츠보는데 주니어 기준이 [1] 프갤러(119.207) 09.19 33 0
2890169 하정우같은 영포티4050보다 팀쿡하고 친한 잇섭같은 젊은애가 하면 될텐데 [2] 뒷통수한방(1.213) 09.19 42 0
2890168 이재명 ai수석 하정우도 4050이누 ㅋㅋㅋㅋ [5] 뒷통수한방(1.213) 09.19 58 0
2890166 ai 활용한 음성인식 앱 써보신분? 조건갤로그로 이동합니다. 09.19 21 0
2890165 인텔 엔비디아 합병? ♥냥덩이♥갤로그로 이동합니다. 09.19 56 0
2890163 원종이는 프갤에 마스코트같은거임 [2] 류류(118.235) 09.19 48 0
2890161 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.19 52 0
2890160 책상위..ㅇㅅㅇ [1] 헤르 미온느갤로그로 이동합니다. 09.19 39 0
2890159 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.19 24 0
2890158 챗gpt 통하여 겨우 이해함 ㅎㅎ [5] 나르시갤로그로 이동합니다. 09.19 65 0
2890157 하루 한 번 헤르미온느 찬양 [3] 헤르 미온느갤로그로 이동합니다. 09.19 55 0
2890156 구글 제미니가 이런 답변을 했는데 이해되는 분? [5] 나르시갤로그로 이동합니다. 09.19 58 0
2890154 힙합 갤러리 리오봇 급증 원인 추정 발명도둑잡기(39.7) 09.19 33 0
2890148 오늘의 작사 실마리: 4=$ 발명도둑잡기(118.235) 09.19 37 0
2890144 윤어게인 대왕고래 큰거 온다 발명도둑잡기(118.235) 09.19 26 0
2890142 회사 초코파이 먹었다고 재판… 판사 “각박하게 이래야 하나” [2] 발명도둑잡기(39.7) 09.19 45 0
2890140 왜 K-팝은 이제 한국인만으로 이루어지지 않는가 발명도둑잡기(39.7) 09.19 35 0
2890138 가자지구 학살 외면한 한국 정부... 침묵은 공모다 발명도둑잡기(39.7) 09.19 32 0
2890128 "이스라엘 미화 영화 규탄" 부산국제영화제 앞 피케팅에 GV 취소 발명도둑잡기(39.7) 09.19 39 0
2890123 톈안먼 유혈진압 절망하던 유학생에서 일본 극우 정치인으로 발명도둑잡기(39.7) 09.19 25 0
2890121 [단독] '일용직 퇴직금' 삭제한 쿠팡 검찰은 '스모킹건' 빼고 발명도둑잡기(39.7) 09.19 35 0
2890113 프갤은 거의 사망아님? [1] 프갤러(211.186) 09.19 62 0
뉴스 이영애X김영광 주연 ‘은수 좋은 날’, 첫방 앞두고 오늘(19일) OST 전곡 발매 디시트렌드 09.19
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2