크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15

조회 76 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음

요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고

물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템

하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨

크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임

뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음

크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	센터해도 될 것 같이 비주얼 물오른 아이돌 멤버는?	운영자	25/09/22	-	-
AD	가전디지털, 액세서리 SALE	운영자	25/09/12	-	-
2888397	내일 난생 처음 법원에 갑니다. 20살때 산 블레이저 처음 입어보겠어요.	ㅇㅇ(58.239)	09.11	83	0
2888396	[애니뉴스] 블로그 서치! 디자인 공개!	프갤러(121.172)	09.11	73	0
2888394	며칠전 리핑한 OST ㅋㅋ [1]	나르시	09.11	110	0
2888391	4대 부캠이 뭔가요?	ㅇㅇ(223.39)	09.11	89	0
2888390	컴퓨터로 야구 동영상 보다 보니, 자주 멈춤. 이 밤에도 트는중... [1]	넥도리아(220.74)	09.11	113	0
2888389	요즘 프갤 완전히 죽은듯? [5]	♥냥덩이♥	09.11	210	0
2888387	다른 직종보다 프로그래머 연봉이 많은 이유가 뭐냐? [2]	프갤러(59.16)	09.11	147	0
2888384	코파일럿 진짜 무서운 새끼네	프갤러(220.77)	09.11	131	0
2888382	냥덩이가 알려주는 다이어트 뛰뛰 비법 ⭐	♥냥덩이♥	09.11	111	0
2888380	회사 복포 120만원 쌓였는데 현금깡 어케 함 [1]	아스카영원히사랑해	09.11	127	0
2888377	방금 스스로 감탄함 [1]	아스카영원히사랑해	09.11	104	0
2888375	근데 카페24 쓰는것도 쇼핑몰 만드는것만큼 좆같아	프갤러(110.8)	09.11	105	0
2888374	쇼핑몰 으음 조금 좆같지.	프갤러(110.8)	09.11	86	0
2888373	주소표시줄 query에 id넣는 거 웹사이트 운영자가 하는거임?	ㅇㅇ(118.235)	09.11	79	0
2888372	근데 게시판 왜 만드는거임 ?? 자칭 노예할려고?? 차라리 쇼핑몰	뒷통수한방(1.213)	09.11	79	0
2888371	■요즘 신입 대세포폴이 뭐임? [2]	ㅇㅇ	09.11	178	0
2888370	악마 레전드....jpg [1]	ㅇㅇ	09.11	145	0
2888369	❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤	♥냥덩이♥	09.11	98	0
2888368	연봉 10억인데 남는게없다.	프갤러(121.139)	09.11	82	0
2888364	트럼프 최측근 죽었다는데	루도그담당(58.239)	09.11	94	0
2888361	충격적임..	♥냥덩이♥	09.11	72	0
2888360	나르시님이 데탑 환경 개발한다고 함 [2]	나르시	09.11	71	0
2888359	증거유) 러빨러조차 안 쓰는 러스트	나르시	09.11	81	0
2888357	이번 KT 보안 사고가 어이없는 이유 [5]	나르시	09.11	160	0
2888356	외주 받을 경우 러스트 안 쓰는 이유	나르시	09.11	76	0
2888355	3개월 계약직후 정규직 전환이라는데 [4]	프갤러(58.29)	09.11	124	0
2888353	월600벌면서 남는게없다는새끼들 패고싶지않음??놀리는거맞지?? [3]	타이밍뒷통수한방(1.213)	09.11	108	0
2888352	[애니뉴스] 귀인환등초 22화 감상	프갤러(121.172)	09.11	63	0
2888351	거 씨발 러스트 쓰기 되게 힘드네	프갤러(211.234)	09.11	87	0
2888349	IT업계 최악의 도메인 == 의료/헬스케어 [12]	ㅇㅇ(106.102)	09.11	183	1
2888347	태어나지 말았어야한다	프갤러(211.234)	09.11	64	0
2888345	외주하면 러스트 써도 되냐? [2]	프갤러(218.153)	09.11	111	0
2888344	원래 남이 짠 코드 보면 이해가 안되고 좀 좆같은게 있음. [1]	프갤러(218.153)	09.11	141	0
2888343	[대한민국] 찰리 커크 -	프갤러(121.172)	09.11	71	0
2888342	흠..	♥냥덩이♥	09.11	97	0
2888340	외주색기들 코드보면 차라리 바이브코딩이 낫지 [2]	ㅇㅇ	09.11	141	0
2888338	회사에서 일 개판쳐서 잘린사람 강의하고 다니네 [4]	ㅇㅇ(121.190)	09.11	151	2
2888337	비전공자 늙은이 이직성공 했다 질문받음 [16]	프갤러(219.251)	09.11	234	0
2888335	23살 전자과 인생... 앞날이 막막하고 먹고살 길이 안보입니다... [1]	프갤러(49.165)	09.11	138	0
2888334	■요즘 신입 대세포폴이 뭐임 [3]	ㅇㅇ	09.11	176	0
2888333	riscv사고싶은데 마음에 드는것들이 없음 [2]	뒷통수한방(1.213)	09.11	88	0
2888332	주작기 한번 만들어봤는데 너무 비싸네 [3]	프갤러(125.139)	09.11	119	0
2888330	질문하나 드려요 [3]	7월	09.11	89	0
2888328	요즘 필드에서 nestjs 씀? [2]	뉴진파	09.11	104	0
2888327	리눅스 왜씀? [18]	프갤러(49.165)	09.11	164	8
2888325	토스 NEXT 면접 본 사람 있음??	프갤러(112.220)	09.11	94	0
2888323	KDE OS 재밌는 시스템이네 [1]	ㅇㅇ	09.11	101	0
2888322	요즘 아스카 외도 중 [2]	아스카영원히사랑해	09.11	115	0
2888318	점심->회사지원, 저녁->쌀,반찬 이렇게해도 식비거의없네 [4]	현무E공인(211.234)	09.11	123	0
2888315	자연인 승윤이 윤택이도 노인때묻어서 월천에 보너스도 몇백 버네 ㅋㅋㅋ	뒷통수한방(1.213)	09.11	55	0
뉴스	세기의 상속녀, 엘비스 프레슬리 딸 ‘리사 마리 프레슬리’ 화려한 삶 속에 감춰진 비극적 죽음의 민낯 (다큐프라임)	디시트렌드	09.20