크롤링 << 이거 진짜 실력향상에 도움 많이됨

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07

조회 130 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
2701429	현실감각이 떨어진다는 건 다른 게 아니라 [5]	딱지(210.183)	05.26	76	0
2701428	저출산 << 단어만들어도 꼴림	딱꾹(61.99)	05.26	29	0
2701427	배우자가 현실감각 떨어지는건 본인한테도 옮는다	딱지(210.183)	05.26	32	0
2701426	AI 로 인해 개발자 폭망했다고???	프갤러(59.16)	05.26	57	0
2701425	결혼해도 맞벌이해라 꼭	딱지(210.183)	05.26	51	0
2701423	아 대낮부터 ㄸ치면서 사랑한다 ㅈㄴ꼴린다 교성내지르는데	딱꾹(61.99)	05.26	56	0
2701421	딱국 여자볼때 뭘 보는지 이제야 알아냄 얼굴 성격 몸매 학벌 집안 다아님 [1]	딱꾹(61.99)	05.26	57	0
2701416	ai가 코딩잘함??	뒷통수한방(1.213)	05.26	29	0
2701415	괜히 가전제품 3신기가 있는 게 아님	딱지(210.183)	05.26	33	0
2701413	따꾸기 진짜 전생에 의자왕이었나봐♡	딱꾹(61.99)	05.26	19	0
2701411	스마트폰으로 PC에 리모컨처럼 쓸수잇는 방법없슴? [7]	ㅇㅇ(114.206)	05.26	45	0
2701410	씹조센이 자주독립했다는데 왜 아직도 유대인실험국가임??	뒷통수한방(1.213)	05.26	17	0
2701409	결혼하면 공부 잘 못하는 건 실화다	딱지(210.183)	05.26	43	0
2701407	cs과목들이 중요한 이유가 뭐임? [2]	프갤러(14.39)	05.26	54	0
2701406	난 내친구들이 날 시기 안하는줄알았다 [4]	ㅈㄹㄷ(118.235)	05.26	94	2
2701405	딱국 성욕의 魔신 들렸냐? [12]	아스카영원히사랑해	05.26	144	5
2701404	인공 지능 교양 서적 보는데... [1]	프갤러(211.187)	05.26	35	0
2701403	네카라쿠배가면 좋은인맥 많이 생김?	프갤러(175.193)	05.26	33	0
2701402	인맥은 어떻게 쌓을 수 있을까? [1]	프갤러(121.130)	05.26	58	0
2701401	방금 정기후원 취소하고왔다... 내 주제에 맞게 살아야지 뭔 남을 돕냐 [1]	ㅇㅇ(223.38)	05.26	48	0
2701400	권력자들이 권력을 가지면 안되는 시대가 됨	프갤러(211.236)	05.26	25	0
2701399	컴공복전생인데 망했냐? [1]	프갤러(210.96)	05.26	60	1
2701397	딱국이보면 여자랑 지적인 대화 한번도 못나눠본거 보임	ㅈㄹㄷ(118.235)	05.26	126	6
2701395	프엔 지망생인데 포폴 사이트 이런식으로 만들면 좀 어필됨? [1]	프갤러(125.128)	05.26	46	1
2701394	GPT의 영향으로 확실히 기본기가 중요한 거 같다.	ㅇㅇ(210.179)	05.26	55	2
2701393	주무시러 감..ㅇㅅㅇ [3]	헤르 미온느	05.26	40	1
2701392	이거 해킹 링크임?? [2]	프갤러(211.36)	05.26	59	0
2701391	아침부터 엄빠의 꽁냥꽁냥을 보고 있노라니	아스카영원히사랑해	05.26	45	0
2701390	하루 한 번 헤르미온느 찬양	헤르 미온느	05.26	33	0
2701387	감히 나를 면접 탈락 시킨 회사 다 말아 먹어라!!!!!!!!!!!!!!	프갤러(59.16)	05.26	36	0
2701386	외성고 향격쳐 적을라 [1]	통정희박대령	05.26	38	0
2701385	유전자복사기 박딱국♡	딱꾹(61.99)	05.26	30	0
2701384	딸쳤는데 약간 휘곤함 ㅇㅅㅇ [2]	프갤러(71.204)	05.26	42	0
2701383	나님 애널 저녁쯤에 ❤+여행 후기 올릴게양	♥순수퓨어냥덩♥	05.26	53	0
2701382	안되겠다 나미 피규어 사야겠다 ㅠㅠㅠㅠ	딱꾹(61.99)	05.26	24	0
2701381	너희 만약 아들이 성욕이 생존욕구보다고 높다고 그러면 어칼거? [1]	딱꾹(61.99)	05.26	47	0
2701380	그거알아? ㅇㅅㅇ [3]	ㅇㅅㅇ(106.102)	05.26	49	0
2701379	배고파 ㅇㅅㅇ	ㅇㅅㅇ(211.36)	05.26	23	0
2701378	딱꾸야꼬치콱짤라뿐다? [1]	보법E노무현	05.26	54	0
2701377	돈내고 퐁퐁하고 다바치고 노예되는거 너무 좋아 ㅠㅠ	딱꾹(61.99)	05.26	33	0
2701376	임신위험은 오히려 꼴리는데....	딱꾹(61.99)	05.26	30	0
2701375	아...클럽녀들 너무 불쌍해 ㅠㅠㅠ 업소녀들도 불쌍해 ㅠㅠㅠ	딱꾹(61.99)	05.26	36	0
2701374	따꾸기같이 팔딱거리는 남자 잡아먹으셈 히히히 [1]	딱꾹(61.99)	05.26	35	0
2701373	애들아 클럽도 조심해라 ㅠㅠ	딱꾹(61.99)	05.26	30	0
2701372	수컷 잡아먹히는거보면 성욕을 탓하지?	딱꾹(61.99)	05.26	28	0
2701371	그냥 사마귀처럼 여자가 수컷 잡아먹어주면 얼마나좋아	딱꾹(61.99)	05.26	24	0
2701370	돈 많이벌어두 업소는 못가겠다 ㅠㅠㅠㅠ	딱꾹(61.99)	05.26	34	0
2701369	딱국은 하루에 막 세번 다섯번씩 하니까 불안해 ㅠㅠ	딱꾹(61.99)	05.26	25	0
2701368	딱국.. 그 .. 성인용품 하나 있는데 그것두 성병 위험하려나	딱꾹(61.99)	05.26	22	0
2701367	내가 여자였으면 키스 성교는 절대안해줬겠구나 [1]	딱꾹(61.99)	05.26	55	0