디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

크롤링 << 이거 진짜 실력향상에 도움 많이됨앱에서 작성

프갤러(117.111) 2024.05.10 15:13:07
조회 128 추천 1 댓글 3

1. 스크랩핑한 데이터에 맞게끔 테이블을 짜야하는데 결국 완성하게되면 해당 사이트와 비슷하게 테이블을 짜게 되어있음. 이게 도움 많이됨.

2. 동기적, 비동기적으로 크롤링을 하는데 두개 공부하기 딱 좋음

3. 대용량의 데이터를 다루기 때문에 얼만큼 끊어서 일괄 저장할지 , 이미지 최적화는 어떻게하고 임시 파일로 저장했다가 한꺼번이 처리할지 등등 연습하기 좋음

4. 크롤링은 주기적으로 실행하는편이니깐 크론에 대해서 실습하기 좋음

5. 만약 해당 사이트의 셀렉터 구조가 바뀌어서 다시 코드 짜야할때 굉장히 번거로운데 이때 테스트 코드 작성하는 방법을 배울 수 있음. 개별로 테스트 케이스 만들어놨다가 실패하는 케이스만 골라서 처리 하면됨

6. 공식문서 참고를 많이하게됨. 관련강의 자체도 거의 없을뿐더러 있어도 셀레니움같은 틀딱 라이브러리씀. gpt도 병신같이짜줘서 공식문서 보는 습관 들이기 편함

7. 자동화 프로그램이다 보니 클린코드를 지향하게됨. 이거도 도움 많이됨

ㄹㅇ 공부할거면 크롤링해라

- dc official App

추천 비추천

1

고정닉 0

1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는? 운영자 24/05/20 - -
2700633 한국여자 ㅈㄴ이쁜데 출산율 낮은거 이해안감 딱꾹(61.99) 05.24 30 0
2700632 딱꾹씨를 위한 갤 추천 [2] Magenta갤로그로 이동합니다. 05.24 33 0
2700630 프갤러들아 너무 미안한데 ㅠㅠ 딱꾹(61.99) 05.24 27 0
2700629 데이터를 이전하는 aws의 최신 서비스.jpg [1] cvs.갤로그로 이동합니다. 05.24 50 0
2700628 이런 유튜브 보고도 ㄸ ㅈㄴ침 딱꾹(61.99) 05.24 48 0
2700627 딱국 전략 : 임신공격에 취약한척 당해주기 딱꾹(61.99) 05.24 18 0
2700626 자바 스프링 종류가 너무 많습니다. 뭘 써야할까요? [2] ㅇㅇ(182.230) 05.24 34 0
2700625 누가 나님 냥덩이 보듬어 준거야? ♥순수퓨어냥덩♥갤로그로 이동합니다. 05.24 18 0
2700624 장어 머것더니 마렵넹.. 갔다올깡? ♥순수퓨어냥덩♥갤로그로 이동합니다. 05.24 21 0
2700623 솔직히 나정도로 정력쎄면 업소가게해줘야하는거 아냐? 딱꾹(61.99) 05.24 18 0
2700622 도움 안되는 새끼들 Magenta갤로그로 이동합니다. 05.24 23 0
2700621 공부 멈춘 동료 개발자 어떻게 됨? [2] 프갤러(211.44) 05.24 59 0
2700620 나미같은여자한테 콱잡혀서 살고싶다 딱꾹(61.99) 05.24 15 0
2700619 나미 이뇬..!!!! 딱꾹(61.99) 05.24 36 0
2700617 학원 안다니고 앱개발 가능한가요? 프갤러(125.180) 05.24 21 0
2700616 공부 많이하는 사람은 왜 단번에 알아봄? [1] 프갤러(211.44) 05.24 43 0
2700614 딱구기처럼 우수한 유전자들고있으면 딱꾹(61.99) 05.24 31 0
2700613 프로젝트라는거 걍 일단 암거나 유용한거 만들어봄 되냐? Magenta갤로그로 이동합니다. 05.24 19 0
2700612 따꾸기 절륜군♡ 히힛 딱꾹(61.99) 05.24 14 0
2700611 이장면 정말 좋아함 딱꾹(61.99) 05.24 28 0
2700610 나미 내꼬얏!!! 나미같은 뇨자랑 결혼할꼬얏 [3] 딱꾹(61.99) 05.24 28 0
2700609 나 살면서 몇번이나 발사했을까 딱꾹(61.99) 05.24 15 0
2700608 내가 인스타에 올린짤중 하난데 [2] 딱꾹(61.99) 05.24 45 0
2700607 오늘의... 딱꾹(61.99) 05.24 23 0
2700606 JUNGKEY(정키) _ weekEnd (Feat. jeebanoff) 발명도둑잡기갤로그로 이동합니다. 05.24 12 0
2700605 나미 내꼬야 딱꾹(61.99) 05.24 17 0
2700603 강형욱사건 진짜 소름돋네 프갤러(112.150) 05.24 50 0
2700601 여자랑 눈맞을때 그 초식동물이 된 심정 딱꾹(61.99) 05.24 25 0
2700598 정력대회 있었으면 좋겠다 [1] 딱꾹(61.99) 05.24 25 0
2700597 충격적인 ai지능 [1] 섹보갤로그로 이동합니다. 05.24 67 1
2700595 딱구기 짝 찾아주세용 ㅠㅠㅠ [2] 딱꾹(61.99) 05.24 34 0
2700594 삼성, 네이버, 카카오, 현대, SK 직원이 AI쓰면 NSA가 훔쳐보지 [1] 발명도둑잡기갤로그로 이동합니다. 05.24 86 0
2700591 오지마라 진쩌 아오 금융오지마라갤로그로 이동합니다. 05.24 18 0
2700590 아앙♡ 하구싶어 ㅠㅠㅠ 딱꾹(61.99) 05.24 17 0
2700586 삼성이라고 gpt 안 쓰면? 도태됨ㅋ [1] 춘절갤로그로 이동합니다. 05.24 82 0
2700585 인공지능 심리상담: 좋아하는 여자가 남자친구가 있는데 극복 방법 발명도둑잡기갤로그로 이동합니다. 05.24 16 0
2700584 경영은 역시 어렵다니깐 [6] 헬마스터갤로그로 이동합니다. 05.24 51 0
2700583 나는 왜 연애 못하눈고양? ㅠㅠㅠ [3] 딱꾹(61.99) 05.24 41 0
2700582 수학 못하는사람 이해 못하겠음 [17] 프갤러(211.44) 05.24 86 0
2700581 감성대디라는 사람 증거없이 강형욱 깠는데 [5] 헬마스터갤로그로 이동합니다. 05.24 68 1
2700580 형님들 이거 어떻게 해결하나요 제발 도와주십쇼 [7] ㅇㅇ(211.111) 05.24 70 0
2700579 삼성 직원도 gpt 쓴다 [2] 프갤러(106.101) 05.24 102 0
2700578 ai로 개발자 끝나긴 한거 같은데 [2] 춘절갤로그로 이동합니다. 05.24 78 1
2700577 이따저녁에는 [6] 멍청한유라ㅋ갤로그로 이동합니다. 05.24 41 0
2700576 형욱씨 보니깐 경영의 미숙함으로 벌어진듯 [5] 헬마스터갤로그로 이동합니다. 05.24 36 0
2700575 SUZY (수지) '다른사람을 사랑하고 있어' 발명도둑잡기갤로그로 이동합니다. 05.24 17 0
2700574 예쁜 여자도 금방 늙어. 우리 진정한 사랑을 찾자구 [7] 춘절갤로그로 이동합니다. 05.24 48 1
2700573 몸매좋은 여자가 꼴릿한것처럼 [1] 딱꾹(61.99) 05.24 34 0
2700572 디시 압수수색 당해서 그런가 [1] 프갤러(175.115) 05.24 47 0
2700571 학식이랑 개발자도 아닌 새끼들이 ai로 개발자 끝났다 거리는거 [2] ㅇㅇ(106.101) 05.24 51 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2