디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 64 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 군대 예능 출연해 줬으면 싶은 여자 스타는? 운영자 25/09/15 - -
AD 가전디지털, 액세서리 SALE 운영자 25/09/12 - -
2888522 근데 외주로 용돈벌려면 일주일에 프로그램 하나 만들줄 알아야함 [4] ㅆㅇㅆ(124.216) 09.12 100 0
2888521 국비들은거 취업도못하고 아까운데 [3] 프갤러(112.172) 09.12 138 0
2888520 대화 배구공(119.202) 09.12 50 0
2888519 스트레스 배구공(119.202) 09.12 46 0
2888517 9월 배구공(119.202) 09.12 48 0
2888516 뭐가 되고 싶어? 배구공(119.202) 09.12 74 0
2888514 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.12 70 0
2888511 달팽이의 사랑..ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.12 56 0
2888510 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 09.12 50 0
2888509 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 09.12 68 0
2888452 dcinside 댓글 감시하는 프로그램 만들려고하는데 어떤 툴이 좋음? [1] ㅇㅇ(125.191) 09.12 91 0
2888433 9월 18일까진 일이 쉴 틈이 없네 [1] ㅆㅇㅆ(124.216) 09.12 89 0
2888422 국수 비싸다 뒷통수한방(1.213) 09.12 64 0
2888415 직업이 없는데 결정사. 살다살다 황당해서, [2] 넥도리아(220.74) 09.12 104 0
2888414 저의 사생활입니다. [1] 넥도리아(220.74) 09.12 137 0
2888411 ㅋㅋㅇ 엔터 부문 쪼개기 상장을 위한 빌드업 ㅇㅇ(110.70) 09.12 85 0
2888409 작은 컵라면 이미 하나 먹었는데 또 먹을까말까 ㅅㅂ ㅇㅇ(223.39) 09.11 68 0
2888408 닮았지? [1] ㅇㅇ(121.168) 09.11 81 0
2888402 주말에 강릉에 비 온다는데 도랏네 야옹아저씨갤로그로 이동합니다. 09.11 61 0
2888400 애널의달성 2///4(2,3) ♥냥덩이♥갤로그로 이동합니다. 09.11 116 0
2888399 런닝머신뛰뛰 VS 한강뛰뛰 ♥냥덩이♥갤로그로 이동합니다. 09.11 118 0
2888398 좇센징 개발자들 특이한게 리눅스를 욕함 [1] 뒷통수한방(1.213) 09.11 109 0
2888397 내일 난생 처음 법원에 갑니다. 20살때 산 블레이저 처음 입어보겠어요. ㅇㅇ(58.239) 09.11 69 0
2888396 [애니뉴스] 블로그 서치! 디자인 공개! 프갤러(121.172) 09.11 60 0
2888394 며칠전 리핑한 OST ㅋㅋ [1] 나르시갤로그로 이동합니다. 09.11 104 0
2888391 4대 부캠이 뭔가요? ㅇㅇ(223.39) 09.11 64 0
2888390 컴퓨터로 야구 동영상 보다 보니, 자주 멈춤. 이 밤에도 트는중... [1] 넥도리아(220.74) 09.11 95 0
2888389 요즘 프갤 완전히 죽은듯? [5] ♥냥덩이♥갤로그로 이동합니다. 09.11 192 0
2888387 다른 직종보다 프로그래머 연봉이 많은 이유가 뭐냐? [2] 프갤러(59.16) 09.11 119 0
2888384 코파일럿 진짜 무서운 새끼네 프갤러(220.77) 09.11 116 0
2888382 냥덩이가 알려주는 다이어트 뛰뛰 비법 ⭐ ♥냥덩이♥갤로그로 이동합니다. 09.11 98 0
2888380 회사 복포 120만원 쌓였는데 현금깡 어케 함 [1] 아스카영원히사랑해갤로그로 이동합니다. 09.11 106 0
2888377 방금 스스로 감탄함 [1] 아스카영원히사랑해갤로그로 이동합니다. 09.11 91 0
2888375 근데 카페24 쓰는것도 쇼핑몰 만드는것만큼 좆같아 프갤러(110.8) 09.11 89 0
2888374 쇼핑몰 으음 조금 좆같지. 프갤러(110.8) 09.11 64 0
2888373 주소표시줄 query에 id넣는 거 웹사이트 운영자가 하는거임? ㅇㅇ(118.235) 09.11 65 0
2888372 근데 게시판 왜 만드는거임 ?? 자칭 노예할려고?? 차라리 쇼핑몰 뒷통수한방(1.213) 09.11 67 0
2888371 ■요즘 신입 대세포폴이 뭐임? [2] ㅇㅇ갤로그로 이동합니다. 09.11 149 0
2888370 악마 레전드....jpg [1] ㅇㅇ갤로그로 이동합니다. 09.11 135 0
2888369 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩이♥갤로그로 이동합니다. 09.11 84 0
2888368 연봉 10억인데 남는게없다. 프갤러(121.139) 09.11 58 0
2888364 트럼프 최측근 죽었다는데 루도그담당(58.239) 09.11 79 0
2888361 충격적임.. ♥냥덩이♥갤로그로 이동합니다. 09.11 60 0
2888360 나르시님이 데탑 환경 개발한다고 함 [2] 나르시갤로그로 이동합니다. 09.11 59 0
2888359 증거유) 러빨러조차 안 쓰는 러스트 나르시갤로그로 이동합니다. 09.11 65 0
2888357 이번 KT 보안 사고가 어이없는 이유 [5] 나르시갤로그로 이동합니다. 09.11 136 0
2888356 외주 받을 경우 러스트 안 쓰는 이유 나르시갤로그로 이동합니다. 09.11 60 0
2888355 3개월 계약직후 정규직 전환이라는데 [4] 프갤러(58.29) 09.11 108 0
2888353 월600벌면서 남는게없다는새끼들 패고싶지않음??놀리는거맞지?? [3] 타이밍뒷통수한방(1.213) 09.11 98 0
2888352 [애니뉴스] 귀인환등초 22화 감상 프갤러(121.172) 09.11 50 0
뉴스 男 2인조 유닛 투 매니 컬러, 18일·24일 신곡 ‘Dangerous’ 발매 기념 日 라이브 & 팬미팅 개최!  디시트렌드 09.16
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2