디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15
조회 74 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음


요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고


물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템


하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨


크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임


뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음


크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 군대 예능 출연해 줬으면 싶은 여자 스타는? 운영자 25/09/15 - -
AD 가전디지털, 액세서리 SALE 운영자 25/09/12 - -
2888864 실리콘이 녹는데 10분이상이 걸리네요. 넥도리아(119.195) 09.13 51 0
2888862 실리콘이 안 녹아요. 넥도리아(119.195) 09.13 51 0
2888861 죄송합니다 [3] 조루디(118.235) 09.13 80 0
2888859 무슨 생각으로 C/C++ 왜 하려 하는거냐? [2] 프갤러(59.16) 09.13 135 0
2888858 C#으로 날로 개발하다가 C++하니까 머리 개터지네 ㅇㅇ(106.241) 09.13 62 0
2888853 좇센징들은 왜이렇게 똑똑할까 ㅋㅋㅋ 뒷통수한방(1.213) 09.13 44 0
2888851 ㅆㅇㅆ한테 코딩배우고싶네 [1] 프갤러(223.38) 09.13 85 0
2888850 여자가 말만 걸어줘도 몇시간 내내 행복하더라 난 메쿠이료갤로그로 이동합니다. 09.13 51 0
2888848 고졸국비중년 국비신청했어 [1] ㅇㅇㅇ(125.130) 09.13 116 0
2888847 러스트는 신이 내린 언어입니다 나르시갤로그로 이동합니다. 09.13 55 0
2888833 러빨러들의 인지부조화 해결 과정 ㅎㅎ [2] 나르시갤로그로 이동합니다. 09.13 70 0
2888826 러빨러의 흔한 순환논증의 오류 [1] 나르시갤로그로 이동합니다. 09.13 69 0
2888822 웹싸개들 ai가대체한다는데 언제대체함??판사연예인 아나운서는 대체않하고? [4] 뒷통수한방(1.213) 09.13 98 0
2888819 [애니뉴스] 어떤 마술의 금서목록이 인기 있는 이유와 자유민주주의, 사이 프갤러(121.172) 09.13 44 0
2888817 ■웹개발할거면 컴공지식 생각보다 많이 필요없지 않냐? [2] ㅇㅇ갤로그로 이동합니다. 09.13 522 0
2888814 확실히 좇센징들이 지능이 높고 똑똑하긴한듯 ㅋㅋㅋㅋ [1] 뒷통수한방(1.213) 09.13 76 0
2888813 하느님 곧 온다는소리만 100년이 넘었누 ㅋㅋㅋㅋ 뒷통수한방(1.213) 09.13 45 0
2888811 태어났는데 남쪽 ㅋㅋㅋㅋㅋ 뒷통수한방(1.213) 09.13 49 0
2888810 근데 또 무슨 언어로 제작해주세요도 외주 요구사항에 포함이라며 프갤러(42.25) 09.13 59 0
2888809 역시 난 프리의 길을 가야하나? 그냥 일 정해서 하면 얼마 [2] 프갤러(42.25) 09.13 77 0
2888808 생각해보면 간단하네. 가스라이팅 당해주는 병신들이 있으니까 [1] 프갤러(42.25) 09.13 55 0
2888807 맥도날드가서 라지 세트 업그레이드 하려면 추가금을 내는게 상식인데 프갤러(42.25) 09.13 129 0
2888806 흠 조직들이 참 저급해서 너무 짜친단 말이지. [2] 프갤러(223.63) 09.13 73 0
2888804 SATA 케이블 3000원 3000원 -1000원.... 0.3cm 넥도리아(223.38) 09.13 48 0
2888801 물경력 맞다이 까야지. [1] 프갤러(59.16) 09.13 80 0
2888797 ai나와서 벌레,떌감들 다뒤지니까 좋네 ㅋㅋ [1] 프갤러(121.139) 09.13 109 1
2888796 니들은 회사에서 니네 나가길 원한다는걸 알면 [6] ㅇㅇ(39.118) 09.13 103 0
2888795 엔트로픽, openai만 봐도 개발자 한명이 몇조원의 기업을 바꾼다. 프갤러(121.139) 09.13 73 0
2888794 기술적 완성도가 시장에서의 성공에 영향을 너무나 미미하게 미친다. 프갤러(110.8) 09.13 72 0
2888792 유튜브 리밴스드 이런거 개발하고 싶은데 [1] 의식의문갤로그로 이동합니다. 09.13 80 0
2888791 ai 설득하는거 은근히 귀찮네 [3] 프갤러(183.101) 09.13 95 0
2888790 내가 20년전으로 돌아간다면 이거하나만 말해주고 싶은데 프갤러(121.139) 09.13 77 0
2888789 일개 갓 대리단 나한테 책임감 있으라 하길래 [4] ㅇㅇ(211.234) 09.13 84 0
2888788 ㄹㅇ 좆밥새끼들이 회사에서 한자리씩 하고있는거 [1] 프갤러(121.139) 09.13 83 0
2888786 이게 맞는지 모르겄다. 사무실 낸다는게. [8] ㅆㅇㅆ(124.216) 09.13 145 0
2888785 하루종일 더닝크루거 걸려서 디씨쳐하고 외주도 구현못하면서 프갤러(121.139) 09.13 70 1
2888783 11월달에 사무실 하나 내기로했다. [3] ㅆㅇㅆ(124.216) 09.13 127 0
2888781 회사에가도 이런사람 많더만 프갤러(121.139) 09.13 92 1
2888780 짧은 인생 살면서 알아낸 진짜 중요한 꿀팁 공유함 ㅇㅇ(223.38) 09.13 67 0
2888778 요즘 좆버그가 너무 심하네 [2] 루도그담당(58.239) 09.13 68 0
2888777 [프갤 미주갤 테라포밍 프로젝트]STZ 사라 [5] 아스카영원히사랑해갤로그로 이동합니다. 09.13 114 0
2888775 물경력 ㅅㄲ들 진짜 이럴거면 때려처라. 프갤러(59.16) 09.13 82 1
2888774 인구가 너무 많아 프갤러(211.234) 09.13 53 1
2888773 인공지능덕에 공부하기 쉬워진 세상이 된게 실감나는게 ㅇㅇ갤로그로 이동합니다. 09.13 77 0
2888771 문꽈도 코딩 교육을 받아야 한다. ㅇㅇ(49.165) 09.13 69 0
2888770 요즘 현관문비번이 잘 생각안납니다 [8] 헬마스터갤로그로 이동합니다. 09.13 103 0
2888768 좇센 욕하는 이유??짱깨보다 더한 압축짱깨라서 ㅇㅂ 뒷통수한방(1.213) 09.13 55 0
2888766 대만 , 일본 =섬 짱깨 한국 북한 = 땅 짱깨 카레국= 짱깨 이중대 뒷통수한방(1.213) 09.13 53 0
2888759 나는 존나 고수 프갤러(121.139) 09.13 59 0
2888748 장비회사랑 웹개발 [1] 프갤러(221.160) 09.13 60 0
뉴스 에픽하이 투컷, 인생 만두 먹다가 인생 조언까지…‘아빠 뱅크’ 파산 일화 공개 디시트렌드 09.19
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2