🐞 검색엔진 타임아웃 문제 해결 - Sitemap 성능 최적화

1. 문제 상황

기존 프론트엔드(Next.js) 서버의 사이트맵 생성 로직은 백엔드의 게시글 목록 API를 활용하고 있었다. 이 과정에서 몇 가지 문제가 발생했다.

• 응답 지연 및 타임아웃: 페이징 기반 API를 사용함에 따라 전체 데이터를 불러오기 위해 순차적인 HTTP 요청이 발생했고 데이터 양에 비례해 응답 시간이 증가함
• 검색엔진 크롤링 실패: Googlebot과 달리 네이버의 Yeti 봇은 응답 대기 시간이 일정 수준을 초과할 경우 연결을 강제로 종료하여 사이트맵 수집에 실패하는 현상 확인
• 리소스 낭비: 사이트맵 생성에 불필요한 본문 내용 등의 필드까지 함께 조회되어 네트워크 오버헤드가 발생

2. 해결 방법

1) SSG 방식 전환

export const dynamic = 'force-static'; 설정을 통해 빌드 시점에 사이트맵을 미리 생성하여 응답 속도를 최적화했다.

import { MetadataRoute } from "next";

// export const dynamic = 'force-dynamic'; 기존 SSR 설정 
export const dynamic = 'force-static'; // SSG 방식으로 전환 

이 방법으로 응답속도는 크게 줄일 수 있었지만 새로운 콘텐츠가 추가될 때마다 전체 프로젝트를 재빌드해야 하므로 실시간 반영 측면에서 유연성이 떨어졌다.

2) 신규 엔드 포인트 추가 및 ISR 적용

처음에는 sitemap 생성을 위해 별도의 전용 컨트롤러를 만드는 것이 과도하게 느껴져 기존 게시글 목록 API를 그대로 활용하였다. 

그러나 페이징 기반 API이다 보니 전체 데이터를 순차적으로 여러 번 호출해야 했고 본문 같은 sitemap에 불필요한 필드까지 포함되어 오버헤드가 크고 글 수가 늘어날수록 응답 속도가 급증하였다. 

따라서 근본적인 해결을 위해 기존 도메인에 /sitemap 엔드 포인트를 추가하였다. 

@Query("""
    SELECT new com.pyomin.cool.dto.SitemapDto(
      p.slug,
      COALESCE(p.updatedAt, p.createdAt)
    )
    FROM Post p
    WHERE p.status = :status
    ORDER BY COALESCE(p.updatedAt, p.createdAt) DESC, p.id DESC
    """)
List<SitemapDto<String>> findAllForSitemap(PostStatus status);

sitemap 생성에 필요한 데이터만 최소한으로 조회하도록 DTO 프로젝션을 사용하였고 lastmod 설정을 위해 COALESCE()를 사용하여 수정일이 없으면 생성일을 조회하도록 처리하였다. 

SitemapDto는 아래와 같이 설계하였다. 

package com.pyomin.cool.dto;

import java.time.Instant;
import java.time.LocalDateTime;
import java.time.ZoneId;

public record SitemapDto<K>(K key, Instant lastModified) {
  
  public SitemapDto(K key, LocalDateTime lastModifiedLdt) {
    this(
      key,
      lastModifiedLdt == null
        ? null
        : lastModifiedLdt.atZone(ZoneId.of("Asia/Seoul")).toInstant()
    );
  }
}

문자열 slug뿐만 아니라 추후에 다른 타입의 식별자도 포함할 수 있도록 제네릭으로 설계하였으며 sitemap 표준 필드인 <lastmod>의 W3C Datetime 표준을 충족하기 위해 DB에서 조회한 LocalDateTime을 서비스 타임존(Asia/Seoul) 기준으로 보정한 후 Instant 타입으로 변환했다.

이후 카테고리도 같은 방식으로 엔드 포인트를 설계한 후 각 도메인별 사이트맵 데이터를 동기적으로 기다리지 않고 Promise.all()을 사용하여 병렬로 호출했다.

또한 revalidate 옵션을 통해 정해진 주기마다 사이트맵을 백그라운드에서 재생성하도록 설정했다.

import { MetadataRoute } from "next";
import { getApiBase } from "@/lib/api/apiBase";

export const revalidate = 86400; // ISR (하루마다 재생성)

const SITE_URL = 'https://pyomin.com';

type SlugSitemap = { slug: string; lastModified: string };
type SitemapResponse<T> = { sitemap: T[] };

async function fetchPostSitemap(): Promise<SlugSitemap[]> {
  const res = await fetch(`${getApiBase()}/posts/sitemap`);
  if (!res.ok) throw new Error('posts/sitemap 실패');
  
  const json = (await res.json()) as SitemapResponse<SlugSitemap>;
  return json.sitemap ?? [];
}

// 카테고리 fetch 생략

export default async function sitemap(): Promise<MetadataRoute.Sitemap> {
  const [posts, categories] = await Promise.all([fetchPostSitemap(), fetchCategorySitemap()]); // 동시 호출
  
  const postPages: MetadataRoute.Sitemap = posts.map((post) => ({
    url: `${SITE_URL}/posts/${encodeURIComponent(post.slug)}`,
    lastModified: post.lastModified,
    changeFrequency: 'monthly',
    priority: 0.8,
  }));
  
  // 이 외 사이트맵 생성 및 return
}

결과적으로 사이트맵 생성 시간을 1초 이내로 단축할 수 있었으며 응답 속도 개선을 통해 네이버 Yeti 봇의 타임아웃 문제를 해결하고 정상적인 인덱싱을 유도할 수 있었다.