디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 66 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 군대 예능 출연해 줬으면 싶은 여자 스타는? 운영자 25/09/15 - -
AD 가전디지털, 액세서리 SALE 운영자 25/09/12 - -
2888528 냥덩이 저새끼만 쫓아내도 복귀할 프갤럼 많을 듯 [5] ㅇㅇ갤로그로 이동합니다. 09.12 127 0
2888527 전산실 근무가 개꿀인거 맞다. [6] 프갤러(106.101) 09.12 174 0
2888526 [대한민국] 암탉이 울면 나라가 망한다 - 대한민국의 자유민주주의 - 오 프갤러(121.172) 09.12 45 0
2888524 병원갔다 오느라 지각했다..ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.12 52 0
2888523 빌게이츠등 외국재벌들이 한국오는이유가 총맞기싫어서인듯 ㅋㅋㅋㅋ 뒷통수한방(1.213) 09.12 53 0
2888522 근데 외주로 용돈벌려면 일주일에 프로그램 하나 만들줄 알아야함 [4] ㅆㅇㅆ(124.216) 09.12 104 0
2888521 국비들은거 취업도못하고 아까운데 [4] 프갤러(112.172) 09.12 142 0
2888520 대화 배구공(119.202) 09.12 50 0
2888519 스트레스 배구공(119.202) 09.12 47 0
2888517 9월 배구공(119.202) 09.12 49 0
2888516 뭐가 되고 싶어? 배구공(119.202) 09.12 75 0
2888514 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.12 71 0
2888511 달팽이의 사랑..ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.12 57 0
2888510 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.12 50 0
2888509 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 09.12 69 0
2888452 dcinside 댓글 감시하는 프로그램 만들려고하는데 어떤 툴이 좋음? [1] ㅇㅇ(125.191) 09.12 94 0
2888433 9월 18일까진 일이 쉴 틈이 없네 [1] ㅆㅇㅆ(124.216) 09.12 90 0
2888422 국수 비싸다 뒷통수한방(1.213) 09.12 67 0
2888415 직업이 없는데 결정사. 살다살다 황당해서, [2] 넥도리아(220.74) 09.12 105 0
2888414 저의 사생활입니다. [1] 넥도리아(220.74) 09.12 138 0
2888411 ㅋㅋㅇ 엔터 부문 쪼개기 상장을 위한 빌드업 ㅇㅇ(110.70) 09.12 87 0
2888409 작은 컵라면 이미 하나 먹었는데 또 먹을까말까 ㅅㅂ ㅇㅇ(223.39) 09.11 69 0
2888408 닮았지? [1] ㅇㅇ(121.168) 09.11 82 0
2888402 주말에 강릉에 비 온다는데 도랏네 야옹아저씨갤로그로 이동합니다. 09.11 63 0
2888400 애널의달성 2///4(2,3) ♥냥덩이♥갤로그로 이동합니다. 09.11 117 0
2888399 런닝머신뛰뛰 VS 한강뛰뛰 ♥냥덩이♥갤로그로 이동합니다. 09.11 119 0
2888398 좇센징 개발자들 특이한게 리눅스를 욕함 [1] 뒷통수한방(1.213) 09.11 110 0
2888397 내일 난생 처음 법원에 갑니다. 20살때 산 블레이저 처음 입어보겠어요. ㅇㅇ(58.239) 09.11 70 0
2888396 [애니뉴스] 블로그 서치! 디자인 공개! 프갤러(121.172) 09.11 61 0
2888394 며칠전 리핑한 OST ㅋㅋ [1] 나르시갤로그로 이동합니다. 09.11 105 0
2888391 4대 부캠이 뭔가요? ㅇㅇ(223.39) 09.11 65 0
2888390 컴퓨터로 야구 동영상 보다 보니, 자주 멈춤. 이 밤에도 트는중... [1] 넥도리아(220.74) 09.11 95 0
2888389 요즘 프갤 완전히 죽은듯? [5] ♥냥덩이♥갤로그로 이동합니다. 09.11 194 0
2888387 다른 직종보다 프로그래머 연봉이 많은 이유가 뭐냐? [2] 프갤러(59.16) 09.11 123 0
2888384 코파일럿 진짜 무서운 새끼네 프갤러(220.77) 09.11 117 0
2888382 냥덩이가 알려주는 다이어트 뛰뛰 비법 ⭐ ♥냥덩이♥갤로그로 이동합니다. 09.11 100 0
2888380 회사 복포 120만원 쌓였는데 현금깡 어케 함 [1] 아스카영원히사랑해갤로그로 이동합니다. 09.11 107 0
2888377 방금 스스로 감탄함 [1] 아스카영원히사랑해갤로그로 이동합니다. 09.11 92 0
2888375 근데 카페24 쓰는것도 쇼핑몰 만드는것만큼 좆같아 프갤러(110.8) 09.11 90 0
2888374 쇼핑몰 으음 조금 좆같지. 프갤러(110.8) 09.11 66 0
2888373 주소표시줄 query에 id넣는 거 웹사이트 운영자가 하는거임? ㅇㅇ(118.235) 09.11 66 0
2888372 근데 게시판 왜 만드는거임 ?? 자칭 노예할려고?? 차라리 쇼핑몰 뒷통수한방(1.213) 09.11 69 0
2888371 ■요즘 신입 대세포폴이 뭐임? [2] ㅇㅇ갤로그로 이동합니다. 09.11 151 0
2888370 악마 레전드....jpg [1] ㅇㅇ갤로그로 이동합니다. 09.11 135 0
2888369 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.11 86 0
2888368 연봉 10억인데 남는게없다. 프갤러(121.139) 09.11 60 0
2888364 트럼프 최측근 죽었다는데 루도그담당(58.239) 09.11 80 0
2888361 충격적임.. ♥냥덩이♥갤로그로 이동합니다. 09.11 62 0
2888360 나르시님이 데탑 환경 개발한다고 함 [2] 나르시갤로그로 이동합니다. 09.11 59 0
2888359 증거유) 러빨러조차 안 쓰는 러스트 나르시갤로그로 이동합니다. 09.11 66 0
뉴스 성시경, 1인 소속사 미등록 운영 논란 사과 디시트렌드 10:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2