디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

저거 8.46 아이피 저거 보니까 어려울건 없는듯

ㅆㅇㅆ(124.216) 2025.10.14 10:32:19
조회 95 추천 0 댓글 4

이거 전부 보니까 800만개 URL 수집하고, GLOBUS랑 데이터 다운하고 JSON 구조랑 해야하는데 데이터 구조만 알면 딱히 어려운건 없는듯?


보니까 파이썬 스크립트 사용법까지 제공됨


환경 설정(Globus 계정) 데이터셋 다운 파이썬 설정 -30분


스크립트 실행 하고, 데이터셋 7GB 전체 추출하면 경험상 2시간 정도?


코드북 제작 검토하면 얼추 3시간


이렇게 문서화까지 경하면 6~7시간 세트 정도?


디버깅 고려해서 공임 치면 8시간 걸릴듯. 숙련된 개발자 기준이면 3시간 미만도 가능할거고


방법론 자체는 news_extractor.py를 실행해서 csv 변환하는거 밖에 없음


문제는 데이터셋 다운인데, 원격으로 너한테 다운받게 한후에 일부 데이터 나한테 보내서 그 데이터 바탕으로 코드북 작성하면되서 어려울게 없음


원격 조작은 한 3시간 정도 하면될거고


근데 저걸 코드북이랑 CSV 테이블 문서화가 좀 걸리지


기본적으로 프로그래머 공임이 주니어 기준 25000인데, 나는 좀 싸게 18000정도로 받으니까


내 기준이면 단가 12만인데 나한테 맡기면 10만에 해줌 ㅇㅇ


추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 스타보다 주목 받는 것 같은 반려동물은? 운영자 25/10/20 - -
2896766 코딩에 ai 쓰지 말아야 하는 이유 [2] 프갤러(218.154) 10.16 103 0
2896763 나는 뉴비일수록 ai 알려줘야겠던데 [4] ㅆㅇㅆ(124.216) 10.16 119 0
2896762 뉴비들은 기초가 없는데 AI를 쓰는건 좀 비추 [2] 루도그담당(58.239) 10.16 109 0
2896761 근데 AI가 코딩 짜면 더 잘짜지 않냐. [2] ㅆㅇㅆ(124.216) 10.16 136 0
2896760 캄보디아말고 핑보디아는 없냐 [4] 루도그담당(58.239) 10.16 93 0
2896759 나중에 1000억정도 생기고 캄보디아같은 사건 생기면 내가 처리해줄생각임 ㅇㅇ(223.39) 10.16 50 0
2896758 근데 교수가 빡칠만 하네 [5] 루도그담당(58.239) 10.16 115 0
2896757 아는 지인 통해서 대화하다보니까 [6] 루도그담당(58.239) 10.16 105 0
2896756 이런 문장 되게 멋지지 않니 ㅇㅇ갤로그로 이동합니다. 10.16 68 0
2896755 애새끼까는 중국인들혜택 더 주는 좇병신나라 ㅋㅋㅋ 타이밍뒷.통수한방(1.213) 10.16 45 0
2896754 이번에 외주가 구문 도표 그리는건데 오랜만에 컴파일러 이론보는데 [2] ㅆㅇㅆ(124.216) 10.16 92 0
2896753 5억도 못벌어노면 사람새끼아닌거 팩트아님???ㅋㅋㅋ [3] 타이밍뒷.통수한방(1.213) 10.16 85 0
2896752 Wake up, Neo . . . [1] choi(125.184) 10.16 65 1
2896751 http와 https, 과연 https를 이용하는 것이 맞을까? [1] 프갤러(121.172) 10.16 92 0
2896750 Za받았다. 넥도리아(223.38) 10.16 75 0
2896749 새싹(SeSAC) NEXT AI : 실전형 데이터 엔지니어링 코스 도봉캠 프갤러(14.32) 10.16 70 0
2896748 개발하다 정치병 왔어 [2] chironpractor갤로그로 이동합니다. 10.16 101 0
2896747 Chatter BBS 오픈 [3] 파란빤스갤로그로 이동합니다. 10.16 78 0
2896746 퇴사고민 [6] ㅇㅇ(222.117) 10.16 122 0
2896743 중국인들 길에서 똥싸는거 [3] 루도그담당(211.184) 10.16 94 1
2896742 애플의 G시리즈는 5가 끝이었는데 M 시리즈는 몇이 끝일까? ㅇㅅㅇ [1] 헤르 미온느갤로그로 이동합니다. 10.16 70 0
2896741 유튜브 이제 다시 되네 ㅇㅅㅇ [2] chironpractor갤로그로 이동합니다. 10.16 90 0
2896740 우산 말리는 중..ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 10.16 46 0
2896738 뒷모습 도촬 ㅇㅅㅇ [2] 헤르 미온느갤로그로 이동합니다. 10.16 92 0
2896737 유튜브 지금 나만 이러는건 아닌가보네 chironpractor갤로그로 이동합니다. 10.16 59 0
2896736 콜롬비아 납치사건 보면서 가난의 늪을 느꼈어... [1] ㅇㅇ(223.39) 10.16 59 0
2896735 유튜브 안 되는거 CDN 문제겠지? [2] 프갤러(14.32) 10.16 82 0
2896734 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 10.16 49 0
2896732 인지과학조져라 손발이시립디다갤로그로 이동합니다. 10.16 61 0
2896729 30대 문과 한미 이중국적자 it나 인공으로 빅테크취업하는법좀요 ㅇㅇ(59.23) 10.16 86 0
2896726 IT 쪽 프리랜서 가능한 직업 뭐 있지 [4] 프갤러(67.162) 10.16 116 0
2896725 와 한국인 가술력 개쩐다 ㄷㄷ ㅇㅇ(106.101) 10.16 100 0
2896724 만약에 캄보디아에서 이재용 아들 납치되면 무슨일 벌어짐 ?? [1] ㅇㅇ(223.39) 10.16 158 0
2896720 그냥 갑자기 궁금한건데 캄보디아 사람하나 빼내오는게 힘든일임?? [1] ㅇㅇ(223.39) 10.16 89 0
2896717 반대로 생각할 줄 알아야한다. 프갤러(110.8) 10.16 108 0
2896715 번역은 중국모델이 제일 좋음. 이유가 [4] ㅆㅇㅆ(113.192) 10.16 112 0
2896714 요즘 느끼는게 AI 나오고나서 AI번역 쓰니까 좆되지 않냐? [4] ㅆㅇㅆ(113.192) 10.16 138 0
2896713 업계 선배에게는 배울것이 반드시 하나쯤은 있다 [4] 박민준갤로그로 이동합니다. 10.16 124 2
2896710 SSH로 접속 가능한 채팅+BBS 만들었습니다 [3] 파란빤스갤로그로 이동합니다. 10.15 115 0
2896705 근데 생각해보면 담배값 존나 비싼거네 ㅇㅅㅇ ㅇㅇ(223.39) 10.15 62 0
2896698 윈도우 ui를 맥이나 태블릿처럼 쫀득쫀득한 느낌나게 바꾸는 법은 없나요 [3] 프갤러(211.192) 10.15 120 0
2896695 리눅스 쓰는 사람 있나요 [9] 프갤러(211.192) 10.15 213 0
2896694 클린 아키텍처말고 [4] 루도그담당(58.239) 10.15 115 0
2896693 근데 확실히 내 이해가 좀 많이 얕노 [2] ㅆㅇㅆ(113.192) 10.15 121 0
2896692 갤러리 존나 기괴하네 [1] 프갤러(106.101) 10.15 132 7
2896691 세상엔 올바른 코드는 없지만 유지보수하기 쉬운 코드는 존재한다 프갤러(61.75) 10.15 64 0
2896689 그냥 타입참조가 밖에서 안으로 흐른다 <<이거 하나로 이해해 [9] ㅆㅇㅆ(113.192) 10.15 139 0
2896686 도메인 << 워딩 보면 볼수록 병신같음 루도그담당(58.239) 10.15 83 0
2896683 보통 안드로이드 클린 아키텍쳐라는게 대략 이런구조잖아 [5] ㅆㅇㅆ(113.192) 10.15 130 0
2896679 전체 맥락을 이해 못하니 좀 쉽게 설명해줌 [3] ㅆㅇㅆ(113.192) 10.15 111 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

디시미디어

디시이슈

1/2