'robots.txt에 의해 차단됨' 오류가 나타나는 이유와 해결 방법

 

 

 

'robots.txt에 의해 차단됨' 이라는 말은

검색 엔진 크롤러(검색로못)가 내 사이트의 특정 부분을

검색하지 못하고 있다는 뜻입니다.

이 문제를 해결하는 방법에 대해 알아보겠습니다.

'robots.txt에 의해 차단됨' 오류가 발생하는 이유

'robots.txt에 의해 차단됨' 오류가 발생하는 이유는

내 사이트가 robots.txt 파일에 의해 특정 페이지를 차단해 놓았기 때문입니다.

 

1. robots.txt란 무엇인가요?

    Robots.txt는 검색 엔진(검색로봇)이 크롤링할때

    개방하고 싶지 않은 페이지를 색인하지 못하도록 차단하는 기능입니다.

 

2. 이 오류가 나타나는 이유는 무엇입니까?

    'robots.txt에 의해 차단됨' 오류가 발생하는 이유는

    내 사이트가 robots.txt 파일에 의해 특정 페이지를 차단해
    놓았기 때문입니다.

    즉, 웹사이트의 robots.txt 파일이 검색로봇에게 특정 페이지에
    대한 액세스를 하지 말라고 차단하고 있기 때문입니다.

 "robots.txt에 의해 차단됨" 오류를 해결하는 단계별 방법

1. 먼저 robots.txt 파일을 확인하세요.

    내 사이트 URL 끝에 "/robots.txt"가 있는지 확인하세요.

    (예: www.example.com/robots.txt ).

    내 사이트 URL 끝에 robots.txt 파일이 표시되어 있다면 그 페이지는

    검색 로봇이 내 정보를 검색하지 못하도록 차단되어 있는 것을
    확인할 수 있습니다.

 

2. robots.txt 파일 이해:

    robots.txt 파일은 사이트의 특정 페이지를 공개할 것인가,  
    비공개할 것인가를

    지정하는 "Disallow" 및 "Allow"와 같은 명령으로 구성됩니다.

 

3. 허용되지 않는 섹션 찾기:

    "허용 안함"이라고 표시된 섹션을 찾으십시오.

    이는 웹 크롤러가 접근할 수 없는 웹사이트의 일부를
    나타냅니다.

    예를 들어: 자바스크립트

       [코드 복사]

      User-agent: *

      Disallow: /private/

 

4. 규칙 식별 및 이해:

    액세스하려는 페이지에 대한 색인을 제한하는 규칙을
    발견했다면 그 이유를 이해하세요.

    일부 영역은 사적이거나 민감할 수 있습니다.

 

5. robots.txt 규칙을 조정하세요.

    특정 섹션에 액세스해야 하는데 오류라고 지정된 경우 웹사이트

    robots.txt 규칙을 조정할 수 있습니다.

 

6. 웹사이트의 공개 페이지를 확인하세요:

    액세스하려는 페이지가 웹사이트의 공개 영역에 속해 있는지
    확인하세요.

    일부 페이지는 의도적으로 제한될 수 있습니다.

 

7. 검색 엔진 사용:

    차단된 오류가 표시된 정보에 액세스하려고 하는 경우 검색 엔진을
    사용하여 해당 정보를 검색해 보세요.

    일부 페이지는 색인이 생성되어 검색결과를 통해
    액세스할 수 있습니다.

결론

'robots.txt에 의해 차단됨' 오류를 이해하고 해결하려면 웹사이트의

robots.txt 파일을 검토하고 제한 사항을 식별하고 필요한 경우

사이트의 특정 섹션에 대해 규칙을 조정하면 됩니다.