디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

웹 크롤링 뷰티풀 스프 사용하는 방법

ㅆㅇㅆ(124.216) 2025.08.14 00:06:34
조회 126 추천 0 댓글 2

뷰티풀 스프 라이브러리+ 리퀘스트 라이브러리 가져온 후에


헤더에 UA 정보 넣고


사이트 드가서 크롬 개발자 도구 켜서 가져오려는 정보가 담긴 정보의 선택자를 복사하면 그 관련 선택자들은 이제 계속 긁어올 수 있음


근데 대체로 인증 더 복잡하거나, 하는 애들이 많아서 대부분은 막힘


보통 최소 설정은


import requests

from bs4 import BeautifulSoup


url = "https://example.com"

headers = {

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "

                  "AppleWebKit/537.36 (KHTML, like Gecko) "

                  "Chrome/120.0.0.0 Safari/537.36"

}


res = requests.get(url, headers=headers)

res.raise_for_status()  # 요청 에러시 예외 발생


soup = BeautifulSoup(res.text, "html.parser")


# 예: CSS 선택자

elements = soup.select("div.content > a.link")

for el in elements:

    print(el.get_text(strip=True), el.get("href"))



이렇게 하는데 
기본적으로 사이트가 자스로만 될 경우에는 셀레니움 같은걸로 가져와야하고

막는 경우가 많은데 대부분은 이정도

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 우리나라를 대표해서 UN 연설자로 내보내고 싶은 스타는? 운영자 25/09/29 - -
AD 프로게이머가 될테야!! 운영자 25/10/01 - -
2881520 우연치 않게 엄청난 걸 발견해 버렸다... 프갤러(221.154) 08.14 152 0
2881517 8.14 국회 국제 심포지엄 생중계 / 전후 80년, 세계 그리고 한국 발명도둑잡기갤로그로 이동합니다. 08.14 101 0
2881513 모기 있는거 같당.. ♥냥덩이♥갤로그로 이동합니다. 08.14 110 0
2881507 퐁퐁남 석열이 도축 엔딩 뜨노 ㅠㅠ [1] 아스카영원히사랑해갤로그로 이동합니다. 08.14 144 0
2881503 이때 모모링은 귀여웠는데 ㅠ ♥냥덩이♥갤로그로 이동합니다. 08.14 120 0
2881502 도쿄 외곽 4인가족 집이 아스카영원히사랑해갤로그로 이동합니다. 08.14 108 0
2881500 나님 주무실게양⭐+ ♥냥덩이♥갤로그로 이동합니다. 08.14 101 0
2881499 데뷔 1년차 신입 걸그룹 스케줄 [1] 발명도둑잡기갤로그로 이동합니다. 08.14 108 0
2881496 오 씨발 살려다오 [1] 골방외톨이갤로그로 이동합니다. 08.14 107 0
2881495 형들 파이썬 무료강의 둘중에 뭐가 더 좋아요? 프갤러(86.48) 08.14 96 0
2881494 요새 애니메이숀 색칠 쉬워졌겠지? 발명도둑잡기갤로그로 이동합니다. 08.14 53 0
2881493 MC Sniper / 인생 (Feat. 웅산) 발명도둑잡기갤로그로 이동합니다. 08.14 88 0
2881492 용산 갔다 왔다 외국인 사장님들 내 질문에도 답해주셔서 [6] 넥도리아(220.74) 08.14 119 0
2881491 영화 <살인자 리포트> 나왔대서 생각나는 예전 글 발명도둑잡기갤로그로 이동합니다. 08.14 221 0
2881490 한국 곳곳에서 숨 막히는 추격전이 시작된다! #버터플라이 발명도둑잡기갤로그로 이동합니다. 08.14 118 0
2881489 최종면접 봤는데 제발 붙었으면 좋겠다 [1] 프갤러(14.12) 08.14 165 0
2881487 나님 낼 뛰뛰 해야징 같이 하실분 구함 [1] ♥냥덩이♥갤로그로 이동합니다. 08.14 111 0
2881486 프갤 좆같아서 슬슬 멀티함 [2] 아스카영원히사랑해갤로그로 이동합니다. 08.14 162 1
2881485 특이점 온다 노동해방시대 온다 ㅇㅇ [2] 뒷통수한방(1.213) 08.14 111 1
2881484 공부를 해도 또 까먹음 [4] 밀우갤로그로 이동합니다. 08.14 117 0
2881482 사람은 변하지않음 뒷통수한방(1.213) 08.14 72 0
2881481 면접 존나 힘들다 ㅅㅂ;;; 프갤러(220.85) 08.14 95 0
2881480 조센징 개센징 씹센징 똥싼징 춍센징 손발이시립디다갤로그로 이동합니다. 08.14 86 0
2881479 조직스토킹으로부터 안전한나라를 만듭시다 [4] 손발이시립디다갤로그로 이동합니다. 08.14 114 0
2881478 패전기념일 연휴가 시작되었습니다 아스카영원히사랑해갤로그로 이동합니다. 08.14 99 0
2881477 바나나 ♥냥덩이♥갤로그로 이동합니다. 08.14 84 0
2881476 졸피뎀 ♥냥덩이♥갤로그로 이동합니다. 08.14 95 0
2881475 코딩 너무 어렵다 [1] 프갤러(119.194) 08.14 116 0
2881473 DI에 빠져부럿다 깃깃갤로그로 이동합니다. 08.14 122 0
2881472 나님 냥덩원 비밀요원.. [1] ♥냥덩이♥갤로그로 이동합니다. 08.14 116 0
2881471 패배자처럼 살기 싫으면 뭘 어떻게 해야하는걸까... [1] ㅇㅇ(223.39) 08.14 102 0
2881470 애널의달성 2.1/1/3 ♥냥덩이♥갤로그로 이동합니다. 08.14 98 0
2881469 커뮤에서 비전 있는 종목과 돈버는 방법을 알려주면 ㅇㅇ갤로그로 이동합니다. 08.14 93 0
2881468 형들 이거 왜이래..? [2] 프갤러(211.192) 08.14 122 0
2881467 전한길 심리분석 발명도둑잡기갤로그로 이동합니다. 08.14 124 0
2881466 좇센에서 태어나서 러스트??ㅋㅋ그새끼가 비정상적인거아님??? 뒷통수한방(1.213) 08.14 75 0
2881464 러스트 까는 친구들 보면 좀 안타깝다. [1] 프갤러(218.154) 08.14 122 0
2881463 비전이 확실하지만 무보수인 기획, 개발자분들 의견이 궁금합니다 [15] 프갤러(1.242) 08.14 231 0
2881462 디시에서 조언은 99% 잘못된 조언이다. [2] ㅆㅇㅆ(124.216) 08.14 154 0
2881461 비전공 국비 자바 취업했다. [3] 프갤러(220.117) 08.14 441 0
2881460 나만 프갤에서 프로그래밍 어떻게할까요 묻는거 미련해보이냐 [3] ㅆㅇㅆ(124.216) 08.14 132 0
2881457 인생을 살면서 창업 해야만한다는 뭔가 그런시기가 있지 않냐 [4] ㅆㅇㅆ(124.216) 08.14 140 0
2881454 ai가 4차산업혁명인데 어째 점점 하향곡선타는것같누 뒷통수한방(1.213) 08.14 108 0
2881453 나는 노가다 상하차부터 시작해서 이것저것 안 한일이 없는데 [3] ㅆㅇㅆ(124.216) 08.14 142 0
2881452 왜 3시 3분 넥도리아(223.38) 08.14 77 0
2881451 비전공 2년 경력... 면접보기 빡시네ㅜㅜ [1] 프갤러(211.234) 08.14 181 0
2881450 윤석열이랑 김건희 위치 넥도리아(223.38) 08.14 109 0
2881448 면접 보고 왔는데 면접이 걍 의식의 흐름이네 ㅇㅇ갤로그로 이동합니다. 08.14 121 0
2881447 한글 프로그래밍 언어 호랑 발명도둑잡기갤로그로 이동합니다. 08.14 95 0
2881445 쉬는청년, 청년빈곤 << 이거 진짜임 ㅇㅅㅇ?? [3] ㅇㅇ(223.39) 08.14 143 0
뉴스 이지혜, 가족여행 중 항공사 저격…“다시는 안 타” 무슨 일 디시트렌드 14:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2