yeongdev
close
프로필 사진

yeongdev

github: @ Westzer00

  • 분류 전체보기 (84) N
    • [SK플래닛] ASAC 빅데이터전문가 11기 (31) N
      • 학습기록 (31) N
    • AI & Machine Learning (6) N
      • ML 수학 (6) N
      • Machine Learning (0)
      • Deep Learning (0)
    • Data Analytics (36)
      • Python·Pandas (6)
      • 수집·크롤링 (10)
      • SQL (19)
      • 시각화 (1)
    • Coding Test (11)
      • 문제풀이 (6)
      • Python & Algorithm (5)
    • DevOps & Tools (0)
  • 홈
  • 태그
  • 방명록

파이썬 API 데이터 수집 정리 | urllib와 json으로 JSON 응답 받아 DataFrame 만들기

파이썬으로 API 데이터를 수집할 때 핵심은 단순히 요청을 보내는 데 있지 않다.실제로 중요한 건 요청 URL을 정확히 만들고, JSON 응답 구조를 파악한 뒤, 필요한 값만 추려서 DataFrame으로 정리하는 것이다. API 수집은 결국 호출보다 정리가 더 중요하다. 자료에서도 API 요청 → JSON 파싱 → 필요한 필드 추출 → DataFrame 변환까지의 흐름이 한 세트로 설명된다.API 데이터 수집은 보통 이 순서로 진행된다실무나 분석용 스크립트에서 API 수집은 대체로 아래 순서로 진행된다.어떤 API 엔드포인트를 호출할지 정한다key와 파라미터를 포함해 요청 URL을 만든다HTTP 요청을 보낸다JSON 응답을 파싱한다필요한 필드만 추출한다리스트에 누적한 뒤 DataFrame으로 변환한다이 ..

  • format_list_bulleted Data Analytics/수집·크롤링
  • · 2026. 5. 6.

[SK플래닛] ASAC 빅데이터전문가 11기 | 11일차

오늘은 약간 “데이터를 가져온다”는 말 안에 뭐가 이렇게 많이 들어있지? 싶었던 날이었다.전날까지는 판다스로 표 만들고, 컬럼 추가하고, 정리하는 느낌이 더 강했는데오늘은 그 전 단계, 그러니까어디서 가져올 건지그게 JSON인지 XML인지 HTML인지어떤 패키지로 받아야 하는지받은 뒤에는 뭘 기준으로 접근해야 하는지이런 쪽이 더 크게 남았다.특히 오늘 제일 크게 남은 건같은 API라도 JSON으로 받는 거랑 XML로 받는 건 느낌이 꽤 다르고,거기서 더 나아가 DART처럼 일반 사이트는 또 완전히 다르다는 점이었다.즉 오늘은 “수집”이라는 말 안에 공식 API 요청이랑 일반 웹사이트 HTML 접근이 다 들어있다는 걸 좀 더 제대로 본 날 같았다.1. 오늘은 API랑 일반 사이트 접근이 다르다는 게 먼저 ..

  • format_list_bulleted [SK플래닛] ASAC 빅데이터전문가 11기/학습기록
  • · 2026. 4. 28.
  • navigate_before
  • 1
  • navigate_next
공지사항
전체 카테고리
  • 분류 전체보기 (84) N
    • [SK플래닛] ASAC 빅데이터전문가 11기 (31) N
      • 학습기록 (31) N
    • AI & Machine Learning (6) N
      • ML 수학 (6) N
      • Machine Learning (0)
      • Deep Learning (0)
    • Data Analytics (36)
      • Python·Pandas (6)
      • 수집·크롤링 (10)
      • SQL (19)
      • 시각화 (1)
    • Coding Test (11)
      • 문제풀이 (6)
      • Python & Algorithm (5)
    • DevOps & Tools (0)
인기 글
전체 방문자
오늘
어제
Copyright © seooeyeong 모든 권리 보유.
SKIN: Copyright © 쭈미로운 생활 All rights reserved. Designed by JJuum.
and Current skin "dev-roo" is modified by Jin.

티스토리툴바