Hacker News, Kagi Small Web, arXiv 등 하루 수천 개의 글이 쏟아지는 거대한 원시 데이터 피드 모음. 남들이 놓치는 숨겨진 트렌드와 인사이트를 발굴하기 위한 최상위 데이터 소스입니다.
Advertisement
일반적인 RSS 리더기에 이곳의 피드들을 그대로 등록하면 하루 만에 수천 개의 알림이 쌓여 질려버릴 것입니다. 하지만 진정한 인사이트는 큐레이션 된 10개의 글이 아니라, 10,000개의 노이즈(Noise) 속에 숨겨진 1개의 보석을 직접 발굴할 때 나옵니다.
DevBJ 관제 센터는 글로벌 테크 씬의 흐름을 가장 먼저 감지할 수 있는 거대한 원시 데이터(Firehose) 피드 노드들을 제공합니다. 알고리즘에 의해 필터링되기 전의 날것 그대로의 트렌드를 수집해 보세요.
매주 수천 개의 포스트가 올라오는 HN의 최신 글 전체 피드. 알고리즘이나 투표에 의해 프론트페이지에 오르기 전, 가장 날것의 글로벌 테크 떡밥을 낚아챌 수 있습니다.
Kagi 검색엔진이 관리하는 3만 개 이상의 비상업적 '작은 웹(Small Web)' 피드. SEO와 광고로 오염되지 않은 전 세계 개인 블로거들의 순수한 기술 및 철학적 글이 모입니다.
컴퓨터 과학, 인공지능, 수학 등 전 세계 학술 논문의 성지. 가장 최신의 AI 딥러닝 트렌드와 구조 논문이 학회 발표보다 먼저 이곳에 쏟아집니다.
'내향인을 위한 소셜 북마크' 핀보드의 3만 명 유저가 실시간으로 수집하는 링크의 난장판. 알고리즘이 아닌 다수의 인간이 무작위로 만들어내는 독특한 큐레이션입니다.
Sponsered Content
프라이버시를 중시하는 초경량 텍스트 기반 블로그 플랫폼 Bear의 전체 발행 피드. 화려한 UI 없이 오직 글쓰기에 집중하는 인디 블로거들의 생각의 흐름을 추적합니다.
전 세계의 다양한 블로그들을 자체적으로 인덱싱하는 큐레이션 검색엔진의 글로벌 피드. 특정 플랫폼에 종속되지 않은 광범위한 정보를 수집할 때 유용합니다.
빅테크의 추천 알고리즘과 검색 엔진 SEO 전략에 최적화된 글들만 읽다 보면 정보의 편식에 빠지게 됩니다.
이 방대한 데이터를 사람이 눈으로 다 읽는 것은 불가능합니다. 엔지니어의 방식으로 파이프라인을 구축하여 나만의 큐레이션 봇을 만들어야 합니다.
feedparser 라이브러리를 사용하여 위 대시보드의 URL들을 주기적으로 크롤링합니다.LLM, Astro, SEO 등 내가 관심 있는 특정 키워드가 포함된 포스트만 추출하는 스크립트를 작성합니다.Q. RSS와 일반 API 연동의 차이점은 무엇인가요?
A. API는 플랫폼에 가입하고 인증키를 받아 요청 제한(Rate Limit) 내에서 데이터를 호출해야 하지만, RSS는 웹 표준 XML 포맷으로 누구나 인증 없이 자유롭게 긁어갈 수 있는 가장 민주적이고 열린 형태의 데이터 배포 방식입니다.
Q. 논문 피드(arXiv)가 너무 방대한데 어떻게 구독하나요?
A. arXiv는 카테고리별로 서브 피드를 제공합니다. 예를 들어 컴퓨터 과학의 AI 분야만 보고 싶다면 전체 피드가 아닌
cs.AI전용 RSS 링크를 추출하여 등록하는 식의 사전 라우팅(Routing) 작업이 필요합니다.🚀 나만의 자동화 봇 만들기 심화 가이드
위에서 설명한 파이썬 기반의 RSS 파싱 스크립트와 텔레그램 봇 연동에 대한 상세한 코드는 DevBJ 기술 블로그 본진에서 단계별 튜토리얼로 확인하실 수 있습니다.