크롤러하면 실력 는다

프갤러(59.14) 2025.09.10 20:27:15

조회 70 추천 0 댓글 0

진짜임

회사가면 하는게 크롤러 만드는거랑 근본적으로 크게 다르지 않음

요구사항 바뀔때마다 대응해줘야하고

죽으면 안되지만 일단 죽었으면 빠르게 원인 파악해서 복구해줘야하고

데이터 변환 뻔질나게하고

통계, 로그 ㅈㄴ 중요하고

보고서, 그래프, 하다못해 순수 텍스트로라도 대시보드 비슷한걸 만들어야하고

반응시간 중요하고

물론 라이브서비스 아이디어 있으면 그거 해도 상관없는데

별로 하고싶은게 안 떠오른다 싶으면 걍 크롤러부터 일단 무작정만들어보셈

한번 미러링 뜨고 종료되는 그런거말고

타이머로 몇분에 한번, 몇초에 한번 씩 데이터 수집해서 기록하고 가공하는 시스템

하다보면 예외처리가 얼마나 중요한지, CICD 왜 하는지, 병목지점을 어떻게 해결하는지, 하부구조를 잘 짜는 게 왜 중요한지

걍 다 깨닫게 됨

크롤러를 만든다는건 필연적으로 개인 데이터 저장소를 만든다는 얘기기도해서

인프라 실습도 되는건 덤임

뭐? 중/고/대학생이라 홈서버 못한다고?

그러면 AWS ec2 nano, 람다, s3 쓰면서 월 3달러 미만으로 비용 줄이기 이런거 도전해보기도 좋음

크롤러 해라

우습게 볼만한 프로젝트가 아님 이게

고정닉 0

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	군대 예능 출연해 줬으면 싶은 여자 스타는?	운영자	25/09/15	-	-
AD	가전디지털, 액세서리 SALE	운영자	25/09/12	-	-
2888959	자바 신입 경쟁율 아직도 높냐? [1]	프갤러(59.16)	09.14	107	0
2888952	유니코드 iso10646 차이 [2]	발명도둑잡기(118.216)	09.14	75	0
2888949	짐승친구들 재밋어서 인형도 삿음 [2]	야옹아저씨	09.14	60	0
2888946	백엔드갤러리로 이주하자 [4]	아스카영원히사랑해	09.13	139	0
2888944	주니어 시절 첫직장 썰좀 들려드림 [3]	프갤러(59.18)	09.13	119	0
2888942	백엔드갤로 [10]	개멍청한유라	09.13	129	0
2888941	유니코드랑 iso10646이랑뭔차이임? [2]	ㅇㅇ(223.38)	09.13	70	0
2888940	예수, 석가모니, 콩쯔 생몰	발명도둑잡기(118.216)	09.13	44	0
2888938	프로그래밍은 성격 자체가 [3]	아스카영원히사랑해	09.13	147	0
2888937	미래에 대한 자서전을 보았다.	넥도리아(119.195)	09.13	54	0
2888936	60갑자의 역사	발명도둑잡기(118.216)	09.13	59	1
2888935	뉴프로 프로그래밍얘기좃도업넹	프갤러(223.38)	09.13	54	0
2888933	서기 1년 1월 1일 요일	발명도둑잡기(118.216)	09.13	58	0
2888932	이건 내여친 사진인데 어떰? [2]	프갤러(121.139)	09.13	108	0
2888931	뉴프로가머냐고 [5]	프갤러(223.38)	09.13	85	0
2888930	유니코드 어떤 문자 순서로 정하게됫을지 궁금한 [5]	프갤러(223.38)	09.13	82	0
2888929	내 여친 사진인데 어떰?? [1]	메쿠이료	09.13	107	0
2888928	탈갤한다 ㅅㄱ [9]	아스카영원히사랑해	09.13	142	0
2888926	심심하다 ㄱ ㅐ새기들아	프갤러(121.139)	09.13	51	0
2888922	아스카의 정체성에 가치투자자 호칭 입갤 [5]	아스카영원히사랑해	09.13	82	0
2888921	진짜 ai떄문에 코딩 불감증 걸림 ㅋㅋ	프갤러(121.139)	09.13	85	0
2888920	키, 국가유공자 후손이었네…박서준·임영웅 등 연예계 애국자 집안 스타	발명도둑잡기(118.216)	09.13	88	0
2888919	프로그래밍 마스터 하니까 현타온다.	프갤러(121.139)	09.13	68	0
2888917	결국 고수들의 커뮤니티는 없네 ㅋㅋ [8]	프갤러(121.139)	09.13	128	0
2888916	디씨말고 활발한 프로그래밍 커뮤니티 없나? [3]	프갤러(121.139)	09.13	102	0
2888914	AI주권 탈환...삼성, 네이버 글로벌 '反 엔비디아' 연합 전선 구축	발명도둑잡기(118.216)	09.13	84	0
2888913	■요즘 스펙용 영어시험 뭐가 대세임?	ㅇㅇ	09.13	66	0
2888912	mz세대라서, 윈도우 공부하려고 책 보면 [15]	ㅇㅇ(211.235)	09.13	108	0
2888904	나는 딱히 알려줄게 없음. 애초에 [3]	ㅆㅇㅆ(124.216)	09.13	88	0
2888902	근데 러스트로 게임 만들기 힘들긴함 게임은 여전히 상속 위주라 [5]	ㅆㅇㅆ(124.216)	09.13	129	0
2888901	weston 설명 [1]	발명도둑잡기(118.216)	09.13	53	0
2888900	돈 들어갈 일들만 계속 생기는구나	발명도둑잡기(118.216)	09.13	51	0
2888899	가을 타는 노총각 지듣노	발명도둑잡기(118.216)	09.13	47	0
2888897	아니다 오히려 돈을 받아먹는 학원형 컴퍼니를 만들어서	프갤러(110.8)	09.13	55	0
2888894	신입을 그렇게 안뽑나? 무보수 인턴 컴퍼니 만들어서 쫍 빨아먹어도 되냐 [5]	프갤러(110.8)	09.13	114	0
2888893	프갤 처참하게 망해가는구만 [6]	아스카영원히사랑해	09.13	118	0
2888889	오늘 외출했다가 2만 8천원 털렸네 [1]	나르시	09.13	57	0
2888888	요즘 신입 취업이 진짜 힘든게 [4]	ㅇㅇ(223.38)	09.13	155	0
2888887	weston을 freebsd에서 가능하도록 수정해야겠어 [2]	나르시	09.13	51	0
2888886	러스트 차단하니까 속이 다 시원하네 ㅎㅎ	나르시	09.13	50	1
2888883	게임 핵 << 이거 만드는거	루도그담당(58.239)	09.13	72	0
2888882	Rust, 러스트를 차단어 지장해야지 안 되겠다	나르시	09.13	42	0
2888881	카카오지도 api를 누르면 좌표가 나오는데 [3]	프갤러(211.234)	09.13	67	0
2888879	근데 대학생 때 이진탐색 버블 정렬 백날 배워봤자 안쓰긴 함. [2]	프갤러(27.166)	09.13	71	0
2888877	한국에선 러스트 쓸 일이 없다. 뭐가 메모리 안전이냐	프갤러(27.166)	09.13	55	0
2888876	하긴 러스트에 물 한번 잘못들어놓으면 인생 곤란해지긴 해	프갤러(27.166)	09.13	53	0
2888874	근데 기왕 비유니티,언리얼 할거면 러스트로 하지 왜 cpp지 [2]	프갤러(27.166)	09.13	75	0
2888873	대학교 때 c cpp로 게임 만드는 것도 좋은 경험이다. [5]	프갤러(27.166)	09.13	82	0
2888872	그냥컴공가서웹이나할껄	프갤러(223.38)	09.13	91	0
2888871	게임학과라 c c++하레 [2]	프갤러(223.38)	09.13	95	0
뉴스	조립 인형이 된 아이들 ‘계급 교실’ (실화탐사대)	디시트렌드	09.18