31 7월 2026 13장. 사이트맵, robots.txt, noindex의 역할: 알릴 것과 막을 것을 구분하는 법 사이트맵, robots.txt, noindex는 같은 색인 버튼이 아닙니다. 사이트맵은 발견할 대표 URL의 목록, robots.txt는 크롤링 접근 규칙, noindex는 가져온 문서를 색인에서 제외하라는 지시입니다. 삭제 응답과 canonical도 또 다른 목…
