robots.txt로 막을 수 있는 것과 없는 것, 잘못 쓰면 생기는 문제

robots.txt는 검색엔진 크롤러에게 사이트의 어느 주소까지 들어와도 되는지 알려 주는 파일이에요. 주로 크롤러 요청이 몰려 서버가 버거워지는 걸 막는 데 쓰고, 페이지를 구글 검색 결과에서 숨기는 기능은 없어요. 검색에 안 나오게 하려면 noindex나 비밀번호 보호 같은 다른 방법을 써야 해요.

robots.txt는 어떤 역할을 하는 파일인가요?

robots.txt는 크롤러의 출입 범위를 정해 주는 안내문이에요. 크롤러는 웹을 돌아다니며 페이지를 읽어 가는 프로그램이에요. Google의 Robots.txt 소개 문서는 이 파일의 주된 목적을 크롤러 트래픽 관리라고 설명해요. 크롤링, 색인, 게재가 각각 무엇인지는 구글이 홈페이지를 찾고 저장하고 보여 주는 과정에서 먼저 보시면 이해가 쉬워요.

Wix나 Blogger 같은 홈페이지 제작 도구(CMS)를 쓰고 있다면 robots.txt를 직접 고칠 필요가 없거나, 아예 고칠 수 없을 수도 있어요. 이런 도구는 보통 검색 설정 페이지 같은 메뉴로 크롤링 허용 여부를 정하게 해 줘요. 특정 페이지를 숨기고 싶다면 '검색엔진에서 ○○ 페이지 숨기기'처럼 사용 중인 도구 이름을 넣어 공식 안내를 찾아보세요.

파일 종류에 따라 robots.txt로 할 수 있는 일

robots.txt의 효과는 막으려는 파일 종류마다 달라요. 원본 문서 내용을 정리하면 다음과 같아요.

예를 들어 필라테스 학원 사이트에서 요일별 필터 때문에 비슷한 주소의 시간표 페이지가 여러 개 생긴다면, robots.txt로 크롤링을 줄이는 걸 고려해 볼 수 있어요. 카페 홈페이지의 장식용 배경 이미지처럼 빠져도 내용 이해에 지장이 없는 파일도 막을 수 있는 대상이에요. 이미지를 검색에서 빼는 방법은 Google 이미지 노출 차단 안내에 따로 나와 있어요.

robots.txt가 막지 못하는 것

robots.txt는 '들어오지 말아 주세요'라는 부탁에 가까워요. 잠금장치가 아니라서 아래 세 가지는 막지 못해요.

1. 규칙을 무시하는 크롤러: 지침을 따를지는 크롤러가 스스로 정해요. 구글의 크롤러인 Googlebot은 규칙을 지키지만, 웹에 다니는 모든 크롤러가 그렇게 얌전하지는 않아요.
2. 검색엔진마다 다른 해석: 어떤 규칙은 일부 검색엔진만 지원하고, 같은 규칙도 크롤러마다 다르게 읽을 수 있어요. 어떤 크롤러에게는 내가 적어 둔 줄이 뜻 없는 글자로 보일 수도 있으니, 여러 크롤러가 공통으로 알아듣는 방식으로 써 두는 게 안전해요.
3. 다른 곳에서 링크된 주소의 색인: 구글은 막힌 페이지의 내용을 크롤링하지 않아요. 하지만 그 주소가 웹의 다른 곳에 링크되어 있으면 주소 자체와 링크 문구 같은 공개 정보로 색인을 만들 수 있어요.

그래서 인테리어 업체가 고객 견적서 PDF를 서버에 올려 두고 robots.txt만 믿는 건 위험해요. 남에게 보여서는 안 되는 파일은 Google의 비공개 콘텐츠 보호 안내처럼 비밀번호로 보호하는 게 맞아요.

잘못 쓰면 생기는 문제

robots.txt를 검색 숨기기용으로 쓰거나 필요한 파일까지 막으면, 페이지가 설명 없이 검색에 남거나 구글이 페이지를 제대로 분석하지 못하게 돼요. 아래 상황에 해당하는지 점검해 보세요.

• 숨기려던 페이지가 설명 없이 남아 있어요: robots.txt로 막은 페이지도 검색 결과에 주소만 보이고 설명은 빠진 채로 나올 수 있어요. 이걸 고치려면 해당 차단 항목을 지우고, noindex 같은 검색 제외 방법을 써야 해요.
• 구글이 페이지를 제대로 이해하지 못해요: 화면 구성이나 내용 표시에 꼭 필요한 스크립트·스타일 파일을 막으면, 구글은 그 파일이 빠진 상태로 페이지를 보게 돼요. 그러면 실제 손님이 보는 화면, 특히 구글이 기준으로 삼는 휴대폰 화면과 달라져 분석이 제대로 이뤄지지 않아요.
• 규칙끼리 부딪쳐요: 크롤링 규칙과 색인 규칙을 함께 쓰면 일부 규칙이 서로 충돌할 수 있어요. 함께 쓰는 방법은 robots 메타 태그 안내에서 확인하세요.
• 차단 범위를 넓게 잡을 때도 조심하세요: 이건 Google 문서가 따로 짚은 경고는 아니고, robots.txt의 원리에서 나오는 주의점이에요. 막은 주소는 크롤링되지 않으니, 범위를 넓게 잡으면 검색에 나와야 할 페이지까지 함께 막힐 수 있어요. 규칙을 넣은 뒤에는 홈페이지나 메뉴 페이지가 막힌 범위에 들어가 있지 않은지 확인해 보세요. 검색에 안 보일 때 살펴볼 점은 새 홈페이지를 구글에 나오게 하는 방법에서도 다뤘어요.

검색 결과에서 정말 숨기려면 무엇을 써야 하나요?

검색에서 빼야 하는 페이지는 목적에 따라 세 가지 중 하나를 고르면 돼요.

• noindex: 페이지는 그대로 두고 검색 결과에만 나오지 않게 하는 방법이에요. 메타 태그나 응답 헤더로 넣고, 자세한 방법은 Google의 noindex 색인 차단 안내에 있어요. 끝난 이벤트를 안내하던 피부과 페이지 같은 경우에 맞아요.
• 비밀번호 보호: 정해진 사람만 봐야 하는 자료에 써요. 사진 스튜디오가 고객에게만 보여 주는 시안 갤러리가 좋은 예예요.
• 페이지 삭제: 더 이상 필요 없는 페이지라면 지우는 게 가장 깔끔해요.

반대로 구글이 꼭 찾아 줬으면 하는 페이지는 막을 대상이 아니라 알려 줄 대상이에요. 그런 페이지는 사이트맵 만들고 제출하는 방법을 참고해 정리해 두세요.

정리

1. 먼저 내 사이트에 robots.txt가 있는지, 무엇을 막고 있는지 확인하세요. 제작 도구를 쓴다면 검색 설정 메뉴부터 열어 보면 돼요.
2. 검색에서 숨기려고 막아 둔 항목이 있다면 noindex, 비밀번호 보호, 삭제 중 어떤 방법으로 바꿀지 정하세요.
3. 스크립트나 스타일 파일을 막은 항목 중 페이지를 이해하는 데 필요한 게 있으면 풀어 주세요.
4. 파일을 새로 만들거나 고칠 때는 Google의 robots.txt 작성 및 제출 안내를 보면서 하세요.

자주 묻는 질문

PDF로 올린 메뉴판이나 안내문도 robots.txt로 막으면 검색에서 사라지나요?

그렇지 않아요. 구글은 PDF처럼 텍스트로 읽을 수 있는 파일도 웹페이지와 같은 쪽으로 분류하고, 이런 파일을 robots.txt로 숨기지 말라고 안내해요. PDF를 검색에서 빼고 싶다면 noindex를 응답 헤더(서버가 파일을 보낼 때 함께 붙여 보내는 안내 정보)에 담아 보내거나, 비밀번호로 보호하거나, 파일을 지우는 방법을 쓰세요.

robots.txt를 만들기 전에 먼저 따져 볼 게 있나요?

목적부터 정해 보세요. Google은 파일을 만들거나 고치기 전에 이 방식의 한계를 먼저 알아 두라고 해요. 서버 부담을 줄이려는 건지, 검색 결과에서 빼려는 건지, 남이 못 보게 하려는 건지에 따라 robots.txt보다 다른 방법이 더 맞을 수 있어요.

이미 있는 robots.txt를 고쳤는데 따로 해야 할 일이 있나요?

고친 내용부터 다시 점검해 보세요. 검색에서 숨기려던 페이지를 robots.txt로만 막아 두지 않았는지, 페이지를 이해하는 데 필요한 스크립트·스타일 파일을 막지 않았는지 확인하면 돼요. Google은 새 파일을 만드는 경우와 기존 파일을 고치는 경우를 나눠 안내하니, 고친 파일을 구글에 반영하는 절차는 Google의 robots.txt 파일 업데이트 안내 순서대로 진행하세요.

robots.txt로 작품 사진을 막아 두면 다른 블로그가 제 사진에 링크를 거는 것도 막히나요?

막히지 않아요. 공방이나 꽃집의 작품 사진을 robots.txt로 막으면 구글 검색 결과에 그 이미지가 나오지 않게 할 수는 있어요. 하지만 다른 페이지나 다른 사람이 그 이미지 파일에 링크를 거는 것까지 막지는 못해요. 아무나 보면 안 되는 사진이라면 비밀번호로 보호하거나 서버에서 지우는 쪽이 맞아요.

출처

• Robots.txt 소개 — Google 검색 센터 · 최종 업데이트 2025-12-18

이 글은 위 Google 검색 센터 문서(CC BY 4.0)를 바탕으로 다올라가 한국어로 풀어 쓴 가이드입니다. 원문은 바뀔 수 있으니 중요한 결정 전에는 원문을 함께 확인해 주세요.