# robots.txt로 막을 수 있는 것과 없는 것, 잘못 쓰면 생기는 문제

robots.txt가 크롤링은 조절해도 검색 노출은 막지 못하는 이유와 파일 종류별 효과, 잘못 쓰면 생기는 문제, 검색에서 제대로 숨기는 방법을 정리했어요.

- 분류: 크롤링·색인
- 작성: 2026-10-18 · 수정: 2026-10-25
- 원본: [Robots.txt 소개](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko)

## 핵심 정리

- robots.txt는 크롤러에게 출입 범위를 알려 주는 안내문이에요. 검색 결과에서 페이지를 지우는 도구가 아니에요.
- robots.txt로 막아 둔 주소도 다른 곳에 링크가 걸려 있으면 설명 없이 검색 결과에 나올 수 있어요.
- 규칙을 지킬지는 크롤러가 정하기 때문에, 비공개 자료는 비밀번호로 보호해야 안전해요.
- 페이지를 이해하는 데 필요한 스크립트나 스타일 파일을 막으면 구글이 페이지를 제대로 분석하지 못해요.
- 검색에서 확실히 빼고 싶은 페이지는 noindex, 비밀번호 보호, 삭제 중 하나로 처리하는 게 맞아요.

robots.txt는 검색엔진 크롤러에게 사이트의 어느 주소까지 들어와도 되는지 알려 주는 파일이에요. 주로 크롤러 요청이 몰려 서버가 버거워지는 걸 막는 데 쓰고, 페이지를 구글 검색 결과에서 숨기는 기능은 없어요. 검색에 안 나오게 하려면 noindex나 비밀번호 보호 같은 다른 방법을 써야 해요.

## robots.txt는 어떤 역할을 하는 파일인가요?

robots.txt는 크롤러의 출입 범위를 정해 주는 안내문이에요. 크롤러는 웹을 돌아다니며 페이지를 읽어 가는 프로그램이에요. [Google의 Robots.txt 소개 문서](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko)는 이 파일의 주된 목적을 크롤러 트래픽 관리라고 설명해요. 크롤링, 색인, 게재가 각각 무엇인지는 [구글이 홈페이지를 찾고 저장하고 보여 주는 과정](https://daolla.com/guide/how-google-search-works/)에서 먼저 보시면 이해가 쉬워요.

Wix나 Blogger 같은 홈페이지 제작 도구(CMS)를 쓰고 있다면 robots.txt를 직접 고칠 필요가 없거나, 아예 고칠 수 없을 수도 있어요. 이런 도구는 보통 검색 설정 페이지 같은 메뉴로 크롤링 허용 여부를 정하게 해 줘요. 특정 페이지를 숨기고 싶다면 '검색엔진에서 ○○ 페이지 숨기기'처럼 사용 중인 도구 이름을 넣어 공식 안내를 찾아보세요.

## 파일 종류에 따라 robots.txt로 할 수 있는 일

robots.txt의 효과는 막으려는 파일 종류마다 달라요. 원본 문서 내용을 정리하면 다음과 같아요.

| 파일 종류 | robots.txt로 할 수 있는 일 | 주의할 점 |
|---|---|---|
| 웹페이지(HTML, PDF 등) | 크롤링 양 조절, 중요하지 않거나 서로 비슷한 페이지의 크롤링 방지 | 검색 결과에서 숨기는 용도로 쓰면 안 돼요. 주소가 설명 없이 노출될 수 있어요 |
| 이미지·동영상·오디오 | 크롤링 관리, 구글 검색 결과에 나오지 않게 하기 | 다른 페이지나 사람이 그 파일에 링크를 거는 건 막지 못해요 |
| 리소스 파일(스크립트, 스타일, 장식용 이미지) | 없어도 페이지가 크게 달라지지 않으면 차단 가능 | 페이지를 이해하는 데 필요하면 막으면 안 돼요 |

예를 들어 필라테스 학원 사이트에서 요일별 필터 때문에 [비슷한 주소의 시간표 페이지](https://daolla.com/guide/url-structure/)가 여러 개 생긴다면, robots.txt로 크롤링을 줄이는 걸 고려해 볼 수 있어요. 카페 홈페이지의 장식용 배경 이미지처럼 빠져도 내용 이해에 지장이 없는 파일도 막을 수 있는 대상이에요. 이미지를 검색에서 빼는 방법은 [Google 이미지 노출 차단 안내](https://developers.google.com/search/docs/crawling-indexing/prevent-images-on-your-page?hl=ko)에 따로 나와 있어요.

## robots.txt가 막지 못하는 것

robots.txt는 '들어오지 말아 주세요'라는 부탁에 가까워요. 잠금장치가 아니라서 아래 세 가지는 막지 못해요.

1. **규칙을 무시하는 크롤러**: 지침을 따를지는 크롤러가 스스로 정해요. 구글의 크롤러인 Googlebot은 규칙을 지키지만, 웹에 다니는 모든 크롤러가 그렇게 얌전하지는 않아요.
2. **검색엔진마다 다른 해석**: 어떤 규칙은 일부 검색엔진만 지원하고, 같은 규칙도 크롤러마다 다르게 읽을 수 있어요. 어떤 크롤러에게는 내가 적어 둔 줄이 뜻 없는 글자로 보일 수도 있으니, 여러 크롤러가 공통으로 알아듣는 방식으로 써 두는 게 안전해요.
3. **다른 곳에서 링크된 주소의 색인**: 구글은 막힌 페이지의 내용을 크롤링하지 않아요. 하지만 그 주소가 웹의 다른 곳에 링크되어 있으면 주소 자체와 링크 문구 같은 공개 정보로 색인을 만들 수 있어요.

그래서 인테리어 업체가 고객 견적서 PDF를 서버에 올려 두고 robots.txt만 믿는 건 위험해요. 남에게 보여서는 안 되는 파일은 [Google의 비공개 콘텐츠 보호 안내](https://developers.google.com/search/docs/crawling-indexing/control-what-you-share?hl=ko)처럼 비밀번호로 보호하는 게 맞아요.

## 잘못 쓰면 생기는 문제

robots.txt를 검색 숨기기용으로 쓰거나 필요한 파일까지 막으면, 페이지가 설명 없이 검색에 남거나 구글이 페이지를 제대로 분석하지 못하게 돼요. 아래 상황에 해당하는지 점검해 보세요.

- **숨기려던 페이지가 설명 없이 남아 있어요**: robots.txt로 막은 페이지도 검색 결과에 주소만 보이고 설명은 빠진 채로 나올 수 있어요. 이걸 고치려면 해당 차단 항목을 지우고, [noindex 같은 검색 제외 방법](https://daolla.com/guide/noindex/)을 써야 해요.
- **구글이 페이지를 제대로 이해하지 못해요**: 화면 구성이나 내용 표시에 꼭 필요한 스크립트·스타일 파일을 막으면, 구글은 그 파일이 빠진 상태로 페이지를 보게 돼요. 그러면 실제 손님이 보는 화면, 특히 [구글이 기준으로 삼는 휴대폰 화면](https://daolla.com/guide/mobile-first-indexing/)과 달라져 분석이 제대로 이뤄지지 않아요.
- **규칙끼리 부딪쳐요**: 크롤링 규칙과 색인 규칙을 함께 쓰면 일부 규칙이 서로 충돌할 수 있어요. 함께 쓰는 방법은 [robots 메타 태그 안내](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=ko)에서 확인하세요.
- **차단 범위를 넓게 잡을 때도 조심하세요**: 이건 Google 문서가 따로 짚은 경고는 아니고, robots.txt의 원리에서 나오는 주의점이에요. 막은 주소는 크롤링되지 않으니, 범위를 넓게 잡으면 검색에 나와야 할 페이지까지 함께 막힐 수 있어요. 규칙을 넣은 뒤에는 홈페이지나 메뉴 페이지가 막힌 범위에 들어가 있지 않은지 확인해 보세요. 검색에 안 보일 때 살펴볼 점은 [새 홈페이지를 구글에 나오게 하는 방법](https://daolla.com/guide/get-site-on-google/)에서도 다뤘어요.

## 검색 결과에서 정말 숨기려면 무엇을 써야 하나요?

검색에서 빼야 하는 페이지는 목적에 따라 세 가지 중 하나를 고르면 돼요.

- **noindex**: 페이지는 그대로 두고 검색 결과에만 나오지 않게 하는 방법이에요. 메타 태그나 응답 헤더로 넣고, 자세한 방법은 [Google의 noindex 색인 차단 안내](https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=ko)에 있어요. 끝난 이벤트를 안내하던 피부과 페이지 같은 경우에 맞아요.
- **비밀번호 보호**: 정해진 사람만 봐야 하는 자료에 써요. 사진 스튜디오가 고객에게만 보여 주는 시안 갤러리가 좋은 예예요.
- **페이지 삭제**: 더 이상 필요 없는 페이지라면 지우는 게 가장 깔끔해요.

반대로 구글이 꼭 찾아 줬으면 하는 페이지는 막을 대상이 아니라 알려 줄 대상이에요. 그런 페이지는 [사이트맵 만들고 제출하는 방법](https://daolla.com/guide/sitemap/)을 참고해 정리해 두세요.

## 정리

1. 먼저 내 사이트에 robots.txt가 있는지, 무엇을 막고 있는지 확인하세요. 제작 도구를 쓴다면 검색 설정 메뉴부터 열어 보면 돼요.
2. 검색에서 숨기려고 막아 둔 항목이 있다면 noindex, 비밀번호 보호, 삭제 중 어떤 방법으로 바꿀지 정하세요.
3. 스크립트나 스타일 파일을 막은 항목 중 페이지를 이해하는 데 필요한 게 있으면 풀어 주세요.
4. 파일을 새로 만들거나 고칠 때는 [Google의 robots.txt 작성 및 제출 안내](https://developers.google.com/crawling/docs/robots-txt/create-robots-txt?hl=ko)를 보면서 하세요.

## 자주 묻는 질문

### PDF로 올린 메뉴판이나 안내문도 robots.txt로 막으면 검색에서 사라지나요?

그렇지 않아요. 구글은 PDF처럼 텍스트로 읽을 수 있는 파일도 웹페이지와 같은 쪽으로 분류하고, 이런 파일을 robots.txt로 숨기지 말라고 안내해요. PDF를 검색에서 빼고 싶다면 noindex를 응답 헤더(서버가 파일을 보낼 때 함께 붙여 보내는 안내 정보)에 담아 보내거나, 비밀번호로 보호하거나, 파일을 지우는 방법을 쓰세요.

### robots.txt를 만들기 전에 먼저 따져 볼 게 있나요?

목적부터 정해 보세요. Google은 파일을 만들거나 고치기 전에 이 방식의 한계를 먼저 알아 두라고 해요. 서버 부담을 줄이려는 건지, 검색 결과에서 빼려는 건지, 남이 못 보게 하려는 건지에 따라 robots.txt보다 다른 방법이 더 맞을 수 있어요.

### 이미 있는 robots.txt를 고쳤는데 따로 해야 할 일이 있나요?

고친 내용부터 다시 점검해 보세요. 검색에서 숨기려던 페이지를 robots.txt로만 막아 두지 않았는지, 페이지를 이해하는 데 필요한 스크립트·스타일 파일을 막지 않았는지 확인하면 돼요. Google은 새 파일을 만드는 경우와 기존 파일을 고치는 경우를 나눠 안내하니, 고친 파일을 구글에 반영하는 절차는 [Google의 robots.txt 파일 업데이트 안내](https://developers.google.com/crawling/docs/robots-txt/submit-updated-robots-txt?hl=ko) 순서대로 진행하세요.

### robots.txt로 작품 사진을 막아 두면 다른 블로그가 제 사진에 링크를 거는 것도 막히나요?

막히지 않아요. 공방이나 꽃집의 작품 사진을 robots.txt로 막으면 구글 검색 결과에 그 이미지가 나오지 않게 할 수는 있어요. 하지만 다른 페이지나 다른 사람이 그 이미지 파일에 링크를 거는 것까지 막지는 못해요. 아무나 보면 안 되는 사진이라면 비밀번호로 보호하거나 서버에서 지우는 쪽이 맞아요.

## 출처

- [Robots.txt 소개](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko) — Google 검색 센터 (CC BY 4.0)