yeongdev
close
프로필 사진

yeongdev

github: @ Westzer00

  • 분류 전체보기 (84) N
    • [SK플래닛] ASAC 빅데이터전문가 11기 (31) N
      • 학습기록 (31) N
    • AI & Machine Learning (6) N
      • ML 수학 (6) N
      • Machine Learning (0)
      • Deep Learning (0)
    • Data Analytics (36)
      • Python·Pandas (6)
      • 수집·크롤링 (10)
      • SQL (19)
      • 시각화 (1)
    • Coding Test (11)
      • 문제풀이 (6)
      • Python & Algorithm (5)
    • DevOps & Tools (0)
  • 홈
  • 태그
  • 방명록

API 데이터 수집할 때 샘플 단위로 처리해야 하는 이유 | 열 단위 수집이 위험한 이유

API 응답을 DataFrame으로 만들 때 가장 중요한 건 데이터를 얼마나 많이 가져오느냐보다, 각 값이 같은 행에 정확히 묶여 들어가느냐다.그래서 실전 수집에서는 컬럼별로 한 번에 긁는 방식보다, 샘플 1개를 하나의 묶음으로 보고 필요한 필드를 추출한 뒤 append하는 방식이 훨씬 안전하다. 자료에서도 JSON과 XML 모두에서 “가로줄 샘플 베이스로 처리하는 것이 답”이라고 설명하고, 감독 정보처럼 없는 값이 있으면 열 단위 수집은 바로 밀릴 수 있다고 정리한다.이 글의 핵심이 글은 “API 응답에서 값을 어떻게 꺼내는가”보다 어떻게 쌓아야 데이터가 틀어지지 않는가에 초점이 있다.즉, 비교 기준은 이거다.열 단위 수집: movieCd만 쭉, movieNm만 쭉, peopleNm만 쭉샘플 단위 수집..

  • format_list_bulleted Data Analytics/수집·크롤링
  • · 2026. 5. 8.
  • navigate_before
  • 1
  • navigate_next
공지사항
전체 카테고리
  • 분류 전체보기 (84) N
    • [SK플래닛] ASAC 빅데이터전문가 11기 (31) N
      • 학습기록 (31) N
    • AI & Machine Learning (6) N
      • ML 수학 (6) N
      • Machine Learning (0)
      • Deep Learning (0)
    • Data Analytics (36)
      • Python·Pandas (6)
      • 수집·크롤링 (10)
      • SQL (19)
      • 시각화 (1)
    • Coding Test (11)
      • 문제풀이 (6)
      • Python & Algorithm (5)
    • DevOps & Tools (0)
인기 글
전체 방문자
오늘
어제
Copyright © seooeyeong 모든 권리 보유.
SKIN: Copyright © 쭈미로운 생활 All rights reserved. Designed by JJuum.
and Current skin "dev-roo" is modified by Jin.

티스토리툴바