'robots.txt에 의해 차단됨' 이라는 말은 검색 엔진 크롤러(검색로못)가 내 사이트의 특정 부분을 검색하지 못하고 있다는 뜻입니다. 이 문제를 해결하는 방법에 대해 알아보겠습니다. 'robots.txt에 의해 차단됨' 오류가 발생하는 이유 'robots.txt에 의해 차단됨' 오류가 발생하는 이유는 내 사이트가 robots.txt 파일에 의해 특정 페이지를 차단해 놓았기 때문입니다. 1. robots.txt란 무엇인가요? Robots.txt는 검색 엔진(검색로봇)이 크롤링할때 개방하고 싶지 않은 페이지를 색인하지 못하도록 차단하는 기능입니다. 2. 이 오류가 나타나는 이유는 무엇입니까? 'robots.txt에 의해 차단됨' 오류가 발생하는 이유는 내 사이트가 robots.txt 파일에 의해 특정 ..