디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 95 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 대박 날 것 같아서 내 꿈에 나와줬으면 하는 스타는? 운영자 25/11/17 - -
AD 겨울가전 SALE! 쿨한 겨울 HOT세일 운영자 25/11/12 - -
2892198 피곤하다 피곤해 [2] 루도그담당(58.239) 09.26 84 0
2892197 누나가 말끝에 알겠지? 하고 한번 더 확인하면 꼴리지 않냐? 프갤러(223.63) 09.26 80 0
2892196 우리 아들 장애인입니다 [1] 210.217엄마(118.235) 09.26 144 2
2892195 먹고 살기 오늘도 힘들군 [2] ㅆㅇㅆ(124.216) 09.26 105 0
2892194 아힘들다 프갤러(210.217) 09.26 95 0
2892193 최종결전까지 6ㅌㅊ !! ♥냥덩이♥갤로그로 이동합니다. 09.26 102 0
2892192 영포티는 남자만을 지칭하는게 아님 ♥냥덩이♥갤로그로 이동합니다. 09.26 95 0
2892191 애널의달성 4/// ♥냥덩이♥갤로그로 이동합니다. 09.26 135 0
2892190 찢은 보수진보 대통합을 이루고 국가붕괴시킴 ㅋㅋㅋㅋㅋㅋ 타이밍뒷.통수한방(1.213) 09.26 78 0
2892189 오늘 불금이다 [1] 루도그담당(118.235) 09.26 137 0
2892188 파일 이름 길게하니까 ㅇㅇ(106.241) 09.26 95 0
2892187 나님 기술보증 ♥냥덩이♥갤로그로 이동합니다. 09.26 91 0
2892186 Cpu와 gpu의 공통점은 루도그담당(118.235) 09.26 76 0
2892185 GPU가 뭐하는 애인지 모르겠어 [3] ㅇㅇ(106.241) 09.26 142 0
2892184 ㅇㅇ 탕탕(106.101) 09.26 70 0
2892183 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.26 114 0
2892182 존나 피곤하다 진짜 ㅆㅇㅆ(124.216) 09.26 119 0
2892181 Outlier에서 지금 까지 번 수입 프갤러(106.101) 09.26 152 0
2892180 한국 미래 예측 [3] ㅇㅇ(175.208) 09.26 102 0
2892179 좇센왕들은 흰머리가 하나도 없누 ㅋㅋㅋㅋㅋㅋㅋ개좇센역사 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 타이밍뒷통수한방(1.213) 09.26 81 0
2892178 동작그만, 넥도리아(223.38) 09.26 145 0
2892177 레전드 이런데가 있나... 넥도리아(223.38) 09.26 93 0
2892176 귀멸 실사화 퀄리티 ㄷㅅㄷ ♥냥덩이♥갤로그로 이동합니다. 09.26 102 0
2892175 남의 엄마 그만 찾고 러스트나 배우십시오 [1] 프갤러(218.154) 09.26 123 1
2892174 재명이 쪽팔려서 빤스런 ㅋㅅㅋ ♥냥덩이♥갤로그로 이동합니다. 09.26 126 0
2892172 ㅇㅇ 탕탕(106.101) 09.26 99 0
2892171 ㅇㅇ 탕탕(106.101) 09.26 92 0
2892170 김창욱 김제동 오은영 같은 프갤러(211.210) 09.26 92 0
2892169 악이 힘을 쓴다는건 뒤에 악신이 있기 때문이다 ㅇㅇ(118.235) 09.26 132 0
2892166 인프런에 김영한 강의 30퍼 할인 하던데 [4] ㅇㅇ(106.246) 09.26 3118 0
2892165 210.217 애미 입니다 [1] 210.217담당(118.235) 09.26 158 5
2892163 찢은 보수진보 대통합을 이루고 국가붕괴시킴 ㅋㅋㅋㅋㅋㅋ 타이밍뒷.통수한방(1.213) 09.26 56 0
2892161 오늘 기필코 [1] 루도그담당(118.235) 09.26 132 0
2892160 다트 던지는 느낌의 랜덤 여행 사이트 (1인 개발) 찍떠(106.101) 09.26 191 0
2892157 나님 초코 치즈 리코타 ♥냥덩이♥갤로그로 이동합니다. 09.26 94 0
2892156 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.26 96 0
2892155 ❤✨☀⭐⚡☘⛩나로님 시작합니당⛩☘⚡⭐☀✨❤ [1] Naro갤로그로 이동합니다. 09.26 96 0
2892152 루도그담당=ㅆㅇㅆ 프갤러(118.235) 09.26 149 4
2892148 졸리다 루도그담당(118.235) 09.26 69 0
2892147 한국어 영어 일본어 불어 스페인어(포르투칼) ♥냥덩이♥갤로그로 이동합니다. 09.26 119 0
2892145 앱 하나 만드는데 보통 시간 얼마나걸림? [1] ㅇㅇ갤로그로 이동합니다. 09.26 128 0
2892144 인생은 운이 아니야 ㅎ 타이밍뒷.통수한방(1.213) 09.26 84 0
2892143 찢은 보수진보 대통합을 이루고 국가붕괴시킴 ㅋㅋㅋㅋㅋㅋ 타이밍뒷.통수한방(1.213) 09.26 97 0
2892136 디시에서 고소드립만 [1] 루도그담당(118.235) 09.26 154 0
2892134 Expected application/json response, got 프갤러(211.234) 09.26 97 0
2892133 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.26 95 0
2892131 갤에서 쓸데없이 싸울 시간에 러스트나 배우십쇼 [3] 프갤러(218.154) 09.26 120 1
2892130 메이플 하고싶긴한데 할 엄두가 안나네 ㅅㅂ... ㅇㅇ(223.39) 09.26 76 0
2892127 우리나라 유일의 3층 목탑..ㅇㅅㅇ [4] 헤르 미온느갤로그로 이동합니다. 09.26 95 0
2892126 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.26 67 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2