[가상면접 사례로 배우는 대규모 시스템 설계 기초] 11장. 뉴스 피드 시스템 설계

뉴스 피드

 

홈 페이지 중앙에 지속적으로 업데이트되는 스토리들

사용자의 상태 정보 업데이트, 사진, 비디오, 링크 등

• 페이스북 도움말 페이지

 

🎯 문제 이해 및 설계 범위 확정

• 모바일 앱과 웹 모두 지원 필요
• 뉴스 피드는 시간 흐름 역순으로 표시
• 한 명의 사용자는 최대 5,000명의 친구를 가질 수 있음
• 매일 천만 명이 방문하는 트래픽 규모
• 뉴스 피드에는 이미지나 비디오 등의 미디어 파일 포함될 수 있음

 

🔍 개략적 설계안 제시 및 동의 구하기

피드 발행

• 사용자가 스토리를 포스팅하면 데이터를 캐시와 데이터베이스에 기록
• 새 포스팅은 친구의 뉴스 피드에도 전송

뉴스 피드 생성

• 모든 친구의 포스팅을 시간 흐름 역순으로 모아서 만든다

 

뉴스 피드 발행

사용자	새 포스팅을 올리는 주체. POST /v1/me/feed API
로드밸런서	사용자 트래픽을 웹 서버들로 분산
웹 서버	HTTP 요청을 내부 서비스로 중계
포스팅 저장 서비스	새 포스팅을 DB와 캐시에 저장
포스팅 전송 서비스	새 포스팅을 친구의 뉴스 피드에 푸시
알림 서비스	친구들에게 새 포스팅이 올라왔음을 알려주거나 푸시 알림을 보내는 역할

 

 

뉴스 피드 생성

사용자	뉴스 피드를 읽는 주체. GET /v1/me/feed API
로드밸런서	사용자 트래픽을 웹 서버들로 분산
웹 서버	트래픽을 뉴스 피드 서비스로 보낸다.
뉴스 피드 서비스	캐시에서 뉴스 피드를 가져오는 서비스
뉴스 피드 캐시	뉴스 피드를 렌더링할 때 필요한 피드 ID 보관

 

 

🧑‍💻 상세 설계

피드 발행

🌐 웹 서버

 

클라이언트와 통신할 뿐 아니라 인증이나 처리율 제한 등의 기능도 수행

• 올바른 인증 토큰 검증
• 특정 기간 한 사용자가 올릴 수 있는 포스팅의 수 제한

 

✉️ 포스팅 전송(팬아웃)서비스

 

어떤 사용자의 새 포스팅을 그 사용자와 친구 관계에 있는 모든 사용자에게 전달하는 과정

팬 아웃에는 두 가지 모델이 존재

• 쓰기 시점의 팬아웃 (푸시 모델)
• 읽기 시점의 팬아웃 (풀 모델)

 

1️⃣ 쓰기 시점에 팬아웃하는 모델

새로운 포스팅을 기록하는 시점에 뉴스 피드를 갱신

• 포스팅이 완료되면 바로 해당 사용자의 캐시에 포스팅을 기록

장점	단점
실시간으로 갱신. 친구들에게 즉시 전송	친구가 많은 경우 친구 목록을 가져와 갱신하는데 많은 시간이 소요 (hotkey 문제)
새 포스팅 기록 순간에 뉴스 피드가 갱신되어 읽는데 시간이 빨라짐.	서비스를 자주 이용하지 않는 사용자의 피드까지 갱신해야해 자원이 낭비

 

 

2️⃣ 읽기 시점에 팬아웃하는 모델

피드를 읽어야 하는 시점에 뉴스 피드를 갱신

• 요청 기반 모델 (on-demand)

사용자가 본인 페이지나 타임라인을 로딩하는 시점에 새로운 포스트를 가져온다.

 

장점	단점
비활성화된 사용자. 거의 로그인하지 않는 사용자의 경우에 유리	뉴스 피드를 읽는데 많은 시간이 소요될 수 있다.
데이터를 친구 각각에 푸시하는 작업이 없어 핫키 문제가 발생하지 않음

 

 

 

🚀 하이브리드 방식

 

대부분의 사용자에 대해서는 푸시 모델을 사용

팔로어가 많은 사용자의 경우에는 팔로어가 해당 사용자의 포스팅을 볼 때 가져가도록 하는 풀 모델을 사용

 

피드 읽기

이미지나 비디오같은 미디어 콘텐츠는 CDN에 저장하여 빨리 읽어갈 수 있도록 한다.

 

캐시 구조

캐시는 뉴스 피드 시스템의 핵심 컴포넌트

https://earth-95.tistory.com/220

뉴스 피드	사용자별 최신 뉴스 피드 Id보관
콘텐츠	포스팅 데이터를 보관. 인기 콘텐츠는 따로 보관
소셜 그래프	사용자 간 관계 정보 보관
행동	포스팅에 대한 사용자의 행위 정보(좋아요, 답글 등)
횟수	좋아요 수, 응답 수, 팔로우 수, 팔로잉 수 등의 정보

 

 

📚 Ref.

https://product.kyobobook.co.kr/detail/S000001033116