Google Blogger Backup & Data Extraction Project Summary

구글 블로거 데이터 스크래핑 아카이브 프로젝트 분석

클라우드 개발 환경(GitHub Codespaces) 내에서 구글 블로거(Blogger/Blogspot)에 축적된 115개의 포스트 데이터를 로컬 디렉터리로 이식하기 위해 총 3가지의 시나리오를 설계하고 검증을 진행했습니다. 구글의 철저한 보안 메커니즘และ 호스트 차단 정책 속에서 각 방식이 직면한 기술적 한계와 최종 성공 경로에 대한 정밀 분석 보고서입니다.

  • 1. 비인증 공개 RSS/Atom 피드 크롤러 방식 실패 (Blocked)

    깃허브 오픈소스 리포지토리의 기본 크롤링 메커니즘을 이식하여 세팅했습니다. 인증 없이 블로그 식별자 주소 뒤에 아톰 피드 주소를 덧붙여 간편하게 XML 데이터를 요청하는 방식입니다. 로컬 PC 환경에서는 일시적으로 작동할 수 있으나, 가상 클라우드 인프라(Microsoft Azure/GitHub 데이터 센터) 환경에서 구글 서버로 접근을 찌르는 순간 구글 보안 엔진이 이를 악성 트래픽(DDoS 또는 크롤링 봇)으로 인지했습니다. 그 결과 데이터 반환 대신 일반 로그인 세션 주소인 ://blogger.com로 강제 리다이렉션을 발생시켜 too many redirects (MaxRetryError) 장벽에 가로막혔습니다.

  • 2. 구글 Cloud Console 공식 API 연동 방식 (OAuth 2.0) 실패 (Scope Mismatch)

    구글이 합법적으로 승인하는 규격에 맞추어 Cloud Console에서 프로젝트를 생성하고, 데스크톱 인증 열쇠 파일(client_secret.json)을 발급받아 환경을 구축했습니다. 아이디와 비밀번호 유출 없이 비공개 드래프트 글까지 실시간 원격 동기화할 수 있는 가장 정석적인 루트입니다. 그러나 클라우드 에이전트 터미널 환경 특성상 기존 실습 로그에 남아있던 오염된 세션 환경 변수(BLOGGER_NAME 등)와 내부 가상환경 캐시 파일(token.json)이 파이썬 실행 레이어에서 꼬이는 현상이 발생했습니다. 소스코드를 올바르게 수정하더라도 캐시된 메모리가 우선 호출되면서 구글 인증 서버에 불완전한 스코프 주소(https://googleapis.com)를 전송하게 되었고, 이로 인해 구글 보안 아키텍처가 Error 400: invalid_scope 오류를 뿜으며 진입을 철저히 차단했습니다.

  • 3. 구글 테이크아웃 피드 포팅 및 데이터 파싱 방식 성공 (Success)

    네트워크 레이어의 차단 장벽을 완벽하게 무력화하기 위해 구글 계정 소유자가 직접 데이터를 내보내는 Google Takeout 서비스를 채택했습니다. 다운로드한 백업 패키지 내부에서 블로그 레이아웃 테마(XML) 파일 대신, 실제 115개의 본문 원본 텍스트 데이터가 집약된 feed.atom 파일을 확보했습니다. 이를 코드스페이스 로컬 환경에 업로드한 후 BeautifulSoup 라이브러리의 lxml 파서 엔진을 활용해 파이썬 스크립트로 내부 XML 트리 구조를 정밀 분석했습니다. 설정 및 디자인 데이터와 실제 포스트 엔트리 데이터를 완벽하게 구별해 냄으로써, 단 1초 만에 323KB 용량의 온전한 텍스트 데이터베이스(backup.json)를 마이그레이션하는 데 완벽히 성공했습니다.

최종 수집된 텍스트 자산을 기반으로 파일 저장 규칙(YYYY-MM-DD-title.md) 및 Jekyll 스타일의 YAML 프론트매터(Front Matter) 규칙을 적용하는 추가 스크립트를 구동하여, 115개의 독립된 정적 블로그용 마크다운 파일로 분할 적재하는 영구 아카이빙 파이프라인까지 완벽하게 완수하였습니다.

Google Blogger Data Scraping & Archiving Project Analysis

Within a cloud development environment (GitHub Codespaces), we designed and validated three technical scenarios to migrate 115 accumulated post data from Google Blogger (Blogger/Blogspot) into a local repository. This is a comprehensive technical report analyzing the security barriers encountered and the ultimate successful path established through this exploration.

  • 1. Unauthenticated Public RSS/Atom Feed Crawler Method Blocked

    This scenario utilized an open-source parsing mechanism to query raw XML feed data by appending the atom feed path to the blog identifier. While functional on residential network connections, executing these scripts inside cloud infrastructure (Microsoft Azure / GitHub data centers) immediately triggered Google's automated threat detection. Recognizing the data center IP as an automated scraper bot, Google's server refused to serve the data payload and instead forced a loop of security redirects toward the standard login gate (://blogger.com), generating a terminal too many redirects (MaxRetryError) failure.

  • 2. Google Cloud Console Official API Integration (OAuth 2.0) Scope Mismatch

    To implement a secure, authorized synchronization pipeline, we instantiated a project on the Google Cloud Console and generated a desktop application client configuration file (client_secret.json). This approach provides a secure handshake to fetch both public content and private drafts without exposing raw credentials. However, the headless cloud terminal environment suffered from session environment variable pollution (such as BLOGGER_NAME) and local cache synchronization conflicts (token.json). Even when the code was structurally accurate, the underlying Python authentication library prioritized cached configurations, transmitting an incomplete scope string (https://googleapis.com) to the authentication server, which ultimately raised an immutable Error 400: invalid_scope barrier.

  • 3. Google Takeout Feed Porting and Core Parsing Method Success

    To fully bypass network-level friction and API bottlenecks, we pivoted to leveraging Google's official data extraction service, Google Takeout. Within the exported package, we bypassed the secondary layout schema (XML) files and successfully targeted the raw feed.atom file, which contained the entire historical text payload of the 115 posts. After porting this file into the Codespace storage layer, a custom Python script equipped with the high-performance lxml parser engine was executed. The script successfully decoupled presentation parameters from structural content nodes, instantly extracting a clean 323KB JSON text database (backup.json) without any credential exposure or protocol blocks.

Utilizing the extracted core assets, an automated downstream formatting script was compiled to enforce structured file naming conventions (YYYY-MM-DD-title.md) and generate Jekyll-compliant YAML Front Matter blocks. This successfully transformed the centralized ledger into 115 standalone Markdown (.md) documents, establishing a permanent and autonomous static blog baseline.

댓글

댓글 쓰기

인기 포스츠

"내 말이 그 말이야!" 원어민들이 매일 쓰는 맞장구 영어 표현 3가지

"내 말이 그 말이야!" 원어민들이 매일 쓰는 맞장구 영어 표현 3가지 미드나 영화를 보다 보면 상대방의 말에 격하게 공감할 때 쓰는 표현들이 정말 자주 나옵니다. 단순히 "Yes"나 "I agree"를 넘어, 원어민 뉘앙스를 100% 살려줄 수 있는 진짜 리얼한 맞장구 표현 3가지를 정리해 드릴게요! 💡 핵심 요약: You can say that again: "두 말하면 잔소리지!" (격한 공감) Tell me about it: "내 말이 그 말이야!" (부정적이거나 힘든 상황에 공감) You hit the nail on the head: "정확히 맞혔어!, 핵심을 찔렀네!" (정답일 때) 1. 격하게 동의할 때: You can say that again 직역하면 "그 말을 다시 해도 된다"이지만, 실제로는 "네 말이 100% 맞아", "두 말하면 잔소리지" 라는 뜻으로 쓰입니다. 상대방의 의견에 완벽하게 동의할 때 사용하기 아주 좋은 표현입니다. A: Today is so hot. (오늘 진짜 덥다.) B: You can say that again! (두 말하면 잔소리지!) 2. 힘들거나 짜증 나는 상황에 공감할 때: Tell me about it 이 표현은 "그것에 대해 말해줘"라는 뜻이 절대 아닙니다! "말 안 해도 다 안다", "내 말이 그 말이야" 라는 의미로, 주로 상대방이 불평을 하거나 힘든 상황을 털어놓을 때 '나도 그 마음 정말 잘 안다' 는 뉘앙스로 맞장구칠 때 씁니다. 반어법적인 뉘앙스가 섞여 있어요. A: Traffic is terrible today. (오늘 차 진짜 막힌다.) B: Tell me about it...
Read more »

"인생에 참여하라" 삶을 변화시키는 영어 표현 2가지

[DAILY CINEMA English #4 - FINAL] "인생에 참여하라" 삶을 변화시키는 영어 표현 2가지 원래 유튜브 영상 주소: https://youtube.com 안녕하세요! 시네마틱 영어 시리즈를 마무리하는 마지막 네 번째 시간입니다. 상단에 기재된 Life of Riza의 고유 영상 링크를 클릭하셔서 마지막 에피소드를 감상해 보세요. 수동적인 기다림을 끝내고 우리의 삶에 적극적으로 뛰어들게 만드는 원어민 실전 표현 2가지를 학습해 보겠습니다. 1. Actively participate in ~ 뜻: ~에 적극적으로 참여하다 / 주도적으로 동참하다 관객석에 앉아 내 인생이라는 영화를 구경만 하는 것이 아니라, 무대 위 주인공이 되어 내 삶을 스스로 이끌고 치열하게 살아가는 태도를 뜻하는 깊이 있는 표현입니다. 💡 핵심 요약 (Example): "The only way to get through this thing we call life is to actively participate in it." (우리가 인생이라 부르는 이 여정을 통과하는 유일한 방법은 그 안에 적극적으로 참여하는 거야.) 2. Take risks 뜻: 위험을 감수하다 / 과감히 도전하다 실패나 좌절이 두려워 안전지대에만 머무르는 것이 아니라, 내가 원하는 것이 무엇인지 찾고 성장하기 위해 불확실성을 무릅쓰고 용기를 내는 행동을 의미합니다. 💡 핵심 요약 (Example): "You have to do things; you have to take risks to find out who you really are." (무언가를 시도해야 해. 우리가 진짜 누구인지 알아내려면 위험을 감수하고 도전해야만 해.) 🎬 크리에이터 소개 및 연재 이력 (Creator Credit) 본 연재 시리즈는 글로벌 시네마틱 ...
Read more »

2. Local Post Workspace Update and Technical SEO Template Deployment

한국어 (KO) English (EN) 2. 로컬 포스트 연습장 업데이트 및 테크니컬 SEO 템플릿 안착 블로그의 장기적인 유입을 위해서는 단순히 글을 쓰는 것을 넘어 구글 검색 엔진이 좋아하는 구조를 갖추어야 합니다. 이를 위해 로컬 집필 환경인 index.html 연습장에 테크니컬 SEO(검색엔진 최적화) 문법 체계를 완전히 통합했습니다. 💡 핵심 요약: 단순 디자인 클래스(div) 대신 계층형 제목 태그(H2, H3)와 메타 데이터를 혼합하면, 구글 봇이 글의 핵심 맥락을 가장 정확하게 수집해 가며 검색 노출 점수에 가산점을 받게 됩니다. 2-1. 통합 템플릿의 핵심 고도화 내용 시맨틱 태그 전환 : 기존 구조의 한계를 탈피하고 <h2> (중제목)와 <h3> (소제목) 위계 서열을 확립하여 검색 봇 친화적 구조 완성 메타 키워드 내장 : 화면에는 보이지 않는 meta name="keywords" 영역을 주입하여 타겟팅 검색 유입 유도 하단 해시태그 레이아웃 : 얇은 점선과 주황색 포인트 칩을 입힌 노출형 #TAGS 바를 구현하여 직관적인 카테고리 가독성 확보 2-2. 실전 집필용 SEO 마스터 템플릿 소스코드 앞으로 새 글을 쓸 때마다 복사해서 사용할 수 있는 정석 뼈대 레이아웃 코드 가이드라인입니다. <!-- 포스트 시작 --> <div class="bilingual-post"> <!-- 언어 선택 버튼 구역 --> <div class="lang-toggle-container"> <button id="btn-ko" class="lang-btn active" onclick=...
Read more »