사이트맵·크롤러 규칙·구조화 데이터 관리하기
sitemap.xml, robots.txt, llms.txt, 대표 URL, JSON-LD의 역할을 구분하고 설정해요.
이 설정들은 검색엔진과 AI 서비스가 주소를 찾고 사이트를 이해하는 데 사용돼요. 각각의 역할이 다르므로 목적에 맞는 항목을 수정해 주세요. 페이지 게시, 크롤러 접근 허용, 검색 결과 노출은 서로 다른 단계예요.
자동 사이트맵 확인하기
설정 → 사이트맵에서 XML 보기를 누르세요. 사이트맵의 공개 주소는 사이트 도메인의 /sitemap.xml이에요.
Neopress는 게시된 공개 페이지와 조건에 맞는 CMS 항목으로 사이트맵을 만들어요. CMS 항목은 연결된 컬렉션과 상세 페이지 템플릿도 공개되어 있어야 해요. 미래 시각으로 예약한 항목은 아직 포함되지 않아요. 언어별 주소 역시 실제 공개 가능한 언어를 기준으로 포함돼요.
주소가 보이지 않으면 먼저 해당 주소를 직접 열어 보세요. 게시 상태, 공개 범위, 언어와 연결된 CMS 페이지를 확인하는 것이 우선이에요. 초안을 만드는 것만으로 공개 주소가 추가되지는 않아요.
robots.txt로 크롤링 규칙 정하기
설정 → Robots.txt를 열어 주세요. 기본 파일은 크롤링을 허용하고 사이트맵 주소를 안내해요. 사용자 정의 내용을 저장하면 기본 파일 전체를 대체하므로, 필요한 규칙과 사이트맵 주소는 직접 유지해야 해요.
- 어떤 크롤러와 경로에 적용할 규칙인지 정해요.
- 내용을 수정한 뒤 변경사항 저장을 눌러요.
- TXT 보기로 공개된 파일 전체를 확인해요. 특히
Disallow가 중요한 페이지를 막고 있지 않은지 살펴보세요.
편집기를 비워 저장하면 기본 규칙으로 돌아가요. 크롤링 규칙은 비밀번호 보호 기능이 아니므로, 기밀 콘텐츠를 숨기는 용도로 사용하면 안 돼요.
필요하면 llms.txt 작성하기
Neopress AI에게 사이트 소개와 중요한 공개 페이지를 담은 llms.txt를 만들어 달라고 요청하세요. 예를 들어 “사이트를 짧게 소개하고 서비스, 요금제, 문의 페이지의 실제 공개 주소를 담은 llms.txt를 만들어 줘”라고 요청할 수 있어요. 내용을 검토한 뒤 사이트의 /llms.txt 주소를 열어 확인하세요. 저장하는 사이트 설정이며 사이트 전체 목록이 자동 생성되지는 않아요. 내용을 제거하면 공개 주소는 404를 반환해요.
이 파일을 만들었다고 AI 발견이나 인용이 보장되는 것은 아니에요. Google의 AI 검색 기능에도 필수 항목은 아니에요. Google의 안내를 참고해 주세요.
구조화 데이터와 대표 주소 설정하기
설정 → 일반 → 고급 설정의 JSON-LD 구조화 데이터에 실제 콘텐츠와 일치하는 정보를 작성해요. 사이트 전체에 관한 정보는 사이트 범위에, 특정 페이지나 CMS 콘텐츠의 정보는 해당 항목에 작성하세요. AI로 생성했더라도 내용을 검토하고, 표시된 형식 오류를 수정한 뒤 저장해 주세요.
대표 URL은 공개 도메인과 페이지 경로를 기준으로 기본 설정돼요. 다른 주소가 대표 버전인 경우에만 페이지의 표준 URL을 의도적으로 수정하세요. 서로 다른 페이지를 모두 홈페이지로 지정하지 않도록 주의해요. 언어별 대체 주소도 공개 가능한 버전을 기준으로 만들어지므로, 각 언어의 페이지가 실제로 열리는지 확인해야 해요.
마지막으로 수정한 공개 파일이나 페이지를 열어 확인하세요. 올바른 메타데이터와 구조화 데이터도 색인, 특정 검색 표시 방식, 리치 결과를 보장하지는 않아요.