크롤링·색인
검색에 안 나오게 할 페이지, noindex로 막는 방법
검색에 나오면 안 되는 페이지를 noindex 메타 태그와 X-Robots-Tag로 막는 법, robots.txt와의 차이, data-nosnippet으로 일부 문장만 숨기는 법을 정리했어요.
원본Google 검색 센터 「noindex로 검색 색인 생성 차단하기」 · 원문 최종 업데이트 2025-12-31 기준
- noindex는 구글의 로봇 프로그램(크롤러)이 페이지 안을 직접 읽어야 작동하므로, robots.txt로 같은 주소를 막으면 오히려 검색 결과에 남을 수 있어요.
- 일반 페이지는 메타 태그로, PDF·이미지 같은 파일은 X-Robots-Tag 헤더(서버가 파일과 함께 보내는 안내 정보)로 막으면 되고 효과는 같아요.
- 몇 문장만 설명문에서 감추려면 페이지 전체를 막을 필요 없이 data-nosnippet을 쓰면 돼요.
- 태그를 넣었는데도 검색에 보인다면 구글 로봇이 아직 페이지를 다시 읽으러 오지 않았을(다시 크롤링하지 않았을) 수 있으니 URL 검사 도구로 먼저 확인해 보세요.
검색에 나오면 안 되는 페이지는 그 페이지에 "검색 결과에 넣지 말아 주세요"라는 표시를 남겨서 막아요. 구글이 페이지를 읽다가 이 표시를 발견하면 결과에서 빼는 구조예요. 그래서 할 일은 두 가지예요. 표시를 어디에 남길지, 그리고 페이지 전체를 감출지 소개 문구의 일부만 감출지를 정하면 돼요.
noindex는 robots.txt와 무엇이 다른가요
noindex는 "이 페이지를 색인하지 마세요"라는 지시예요. 색인은 구글이 읽은 페이지를 검색에 쓸 수 있도록 저장해 두는 일이에요. robots.txt는 "이 주소에는 들어오지 마세요"라는 안내예요. Google의 noindex 색인 차단 안내를 보면, Googlebot은 크롤링 중에 noindex를 발견하면 그 페이지 전체를 검색 결과에서 빼요. 크롤링은 크롤러라고 부르는 구글의 로봇 프로그램이 페이지를 찾아가 내용을 읽는 일이에요. 다른 사이트가 그 페이지에 링크를 걸어 두었어도 결과는 같아요.
가장 흔한 실수는 둘을 같이 쓰는 거예요. robots.txt로 주소를 막으면 크롤러가 페이지 안을 읽지 못해 noindex를 볼 수 없어요. 그러면 다른 곳에 걸린 링크를 통해 검색 결과에 계속 나올 수 있어요. 그래서 noindex를 넣은 페이지는 크롤러가 들어올 수 있게 열어 둬야 해요. robots.txt의 역할과 한계는 robots.txt로 막을 수 있는 것과 없는 것에서 따로 정리했어요.
noindex를 쓰기 좋은 페이지 예시예요.
- 공방 쇼핑몰의 주문 완료·감사 페이지
- 카페 홈페이지에 시험 삼아 만든 메뉴 시안 페이지
- 필라테스 센터의 강사용 내부 안내 페이지
페이지에 noindex를 넣는 두 가지 방법
어느 방법을 써도 결과는 똑같아요. 그러니 막으려는 게 웹페이지인지 파일인지, 그리고 내가 손댈 수 있는 곳이 어디인지만 보고 고르면 돼요. 일반 웹페이지라면 페이지 <head> 안에 robots 메타 태그를 한 줄 넣는 방식을 쓸 수 있어요. meta 태그의 name 속성에는 robots를, content 속성에는 noindex를 적으면 돼요. 이렇게 하면 noindex를 지원하는 모든 검색엔진에 적용돼요.
Wix, WordPress, Blogger 같은 홈페이지 제작 도구(CMS)를 쓴다면 코드보다 설정 화면을 먼저 열어 보세요. 이런 도구는 코드 편집 화면이 아예 없기도 하고, 있더라도 직접 고치는 방식은 권장되지 않아요. 페이지 설정에 검색엔진과 관련된 항목이 있는지부터 살펴보면 돼요. 메뉴를 못 찾겠다면 '사용 중인 도구 이름 + meta 태그 추가'로 검색해 보세요.
PDF 가격표, 이미지, 동영상처럼 HTML이 아닌 파일에는 태그를 넣을 자리가 없어요. 이럴 때는 응답 헤더를 써요. 응답 헤더는 서버가 파일을 보낼 때 앞에 붙여 보내는 안내 정보예요. 서버가 파일과 함께 X-Robots-Tag: noindex를 보내도록 설정하면 돼요. 메타 태그에 쓰는 규칙은 이 헤더에도 그대로 쓸 수 있어요. 참고로 Google은 robots.txt 안에 noindex를 적는 방식을 지원하지 않아요.
robots 메타 태그로 조절할 수 있는 다른 규칙
robots 메타 태그에는 noindex 말고도 검색 결과에 어떻게 보일지 정하는 규칙을 여러 개 넣을 수 있어요. 규칙은 쉼표로 이어 써도 되고 태그를 여러 줄로 나눠 써도 돼요. 대소문자도 가리지 않아요. 전체 목록은 robots 메타 태그·data-nosnippet·X-Robots-Tag 사양에 나와 있어요.
| 규칙 | 뜻 | 쓸 만한 상황 |
|---|---|---|
| noindex | 검색 결과에 표시하지 않음 | 감사 페이지, 시안 페이지 |
| nofollow | 페이지 안의 링크를 따라가지 않음 | 링크를 따라가지 않게 하고 싶을 때 |
| none | noindex와 nofollow를 합친 것 | 둘 다 필요할 때 |
| nosnippet | 텍스트 설명문·동영상 미리보기를 표시하지 않음 | 설명문 자체를 원하지 않을 때 |
| max-snippet:[숫자] | 설명문 길이를 제한(0이면 nosnippet과 같음) | 설명문을 짧게만 보이고 싶을 때 |
| noimageindex | 페이지 속 이미지를 색인하지 않음 | 사진 스튜디오의 샘플 사진 페이지 |
| unavailable_after:[날짜] | 정한 날짜가 지나면 검색 결과에서 제외 | 학원의 기간 한정 이벤트 |
| notranslate | 검색 결과에서 번역을 제공하지 않음 | 번역 표시를 원하지 않을 때 |
nosnippet은 웹 검색뿐 아니라 이미지 검색, 디스커버, AI 개요, AI 모드에도 적용돼요. 페이지 내용이 AI 개요나 AI 모드에 직접 입력으로 쓰이는 것도 막아요. 대신 손님이 검색 결과에서 보는 소개 문구도 사라지니 신중하게 쓰세요.
규칙끼리 부딪히면 더 엄격한 쪽이 적용돼요. 예를 들어 max-snippet:50과 nosnippet이 함께 있으면 nosnippet이 적용돼요. unavailable_after의 날짜는 ISO 8601(예: 2026-12-31) 같은 널리 쓰는 형식으로 적어야 해요. 형식이 틀리면 규칙이 무시돼요. nofollow는 Google의 외부 링크 속성 안내에 더 자세히 나와 있어요.
글 일부만 설명문에서 빼려면 data-nosnippet
페이지는 검색에 두고 특정 문장만 설명문(스니펫)에서 빼려면 data-nosnippet 속성을 쓰면 돼요. 이 속성은 span, div, section 요소에 붙일 수 있어요. 예를 들어 피부과 홈페이지라면 시술 소개는 설명문에 나와도 괜찮아요. 하지만 기간이 지난 이벤트 가격이 설명문에 뜨면 손님이 헷갈릴 수 있으니, 그 문단을 감싼 div에 이 속성을 붙이면 돼요.
쓸 때 주의할 점이에요.
- 값은 무시돼요.
data-nosnippet="false"라고 써도 설명문에서 빠져요. - 태그를 제대로 닫아야 해요.
div를 닫지 않으면 그 뒤에 오는 내용까지 모두 빠져요. - 페이지 전체 설명문을 없애는 nosnippet과 달리, 지정한 부분만 빠져요.
설명문이 어떻게 만들어지는지는 검색 결과 설명문(스니펫)과 메타 설명 쓰는 법에서 다뤘어요.
noindex를 넣었는데도 검색에 계속 보인다면
태그를 넣은 뒤로 Google이 그 페이지를 아직 다시 크롤링하지 않았을 수 있어요. noindex는 크롤러가 페이지를 다시 읽어야 반영되는데, 페이지의 중요도에 따라 다시 방문하기까지 몇 개월이 걸릴 수도 있어요. robots.txt가 주소를 막고 있거나 Googlebot이 받은 코드에 태그가 빠져 있는 경우도 있으니 함께 확인해 보세요.
아래 순서로 점검해 보세요.
- robots.txt가 그 주소를 막고 있지 않은지 확인해요. 막혀 있다면 robots.txt 수정과 제출 안내를 보고 풀어 주세요.
- Search Console의 URL 검사 도구에서 Googlebot이 받은 HTML에 noindex가 실제로 들어 있는지 확인해요.
- 같은 도구에서 다시 크롤링해 달라고 요청해요.
- 페이지 색인 생성 보고서에서 noindex가 확인된 페이지 목록을 살펴봐요.
검색 결과에서 급하게 지워야 한다면 Google의 검색 결과 삭제 안내를 따로 확인하세요. 반대로 실수로 noindex를 넣어 중요한 페이지가 사라졌다면, 태그를 뺀 뒤 고친 페이지를 구글에 다시 반영하는 방법을 따라 하면 돼요.
정리
- 검색에서 빼고 싶은 페이지를 적어 보고, 페이지 전체를 뺄지 일부 문장만 뺄지 나눠요.
- 페이지 전체는 noindex 메타 태그로(파일은 X-Robots-Tag로), 일부 문장은 data-nosnippet으로 처리해요.
- 그 주소들이 robots.txt에 막혀 있지 않은지 확인해요.
- URL 검사 도구로 제대로 들어갔는지 보고, 다시 크롤링해 달라고 요청해요.
자주 묻는 질문
구글 검색에서만 빼고 다른 검색엔진에는 남겨 둘 수 있나요?
메타 태그의 name을 robots 대신 googlebot으로 쓰면 Google 크롤러에만 적용돼요. robots 메타 태그에서 Google이 알아듣는 이름은 googlebot과 googlebot-news 두 가지뿐이에요. 그리고 검색엔진마다 noindex를 다르게 해석할 수 있어서, 다른 검색엔진에서는 결과가 다를 수 있어요.
예전에 넣어 둔 noarchive, nocache 태그는 지금도 효과가 있나요?
없어요. 저장된 페이지 링크 기능이 사라지면서 Google 검색은 noarchive를 더 이상 쓰지 않아요. nocache도 쓰지 않는 규칙이에요. 남아 있어도 문제는 없지만 아무 효과도 없어요.
robots 메타 태그로 광고용 크롤러도 막을 수 있나요?
name="robots"로 넣은 noindex는 검색엔진 크롤러에 적용돼요. AdsBot-Google처럼 검색용이 아닌 크롤러까지 막으려면 그 크롤러 이름을 직접 지정한 규칙을 따로 넣어야 할 수 있어요.
다른 페이지에 iframe으로 넣은 예약 위젯 페이지에도 noindex를 넣었는데, 삽입된 내용은 색인되게 할 수 있나요?
noindex와 함께 indexifembedded 규칙을 넣으면 돼요. 그러면 Google이 iframe 같은 태그로 다른 페이지에 삽입된 내용은 색인할 수 있어요. indexifembedded는 noindex와 같이 쓸 때만 효과가 있어요.
메타 태그를 head가 아니라 본문 안에 넣어도 되나요?
Google 검색은 본문에 있는 robots 메타 태그도 따라요. 다만 공식 예시는 head 안에 넣는 방식이니, 넣을 수 있다면 head에 두는 편이 관리하기 편해요.
출처
- noindex로 검색 색인 생성 차단하기 — Google 검색 센터 · 최종 업데이트 2025-12-31
- Robots meta 태그, data-nosnippet 및 X-Robots-Tag 사양 — Google 검색 센터 · 최종 업데이트 2026-03-26
이 글은 위 Google 검색 센터 문서(CC BY 4.0)를 바탕으로 다올라가 한국어로 풀어 쓴 가이드입니다. 원문은 바뀔 수 있으니 중요한 결정 전에는 원문을 함께 확인해 주세요.
