[ Natas 3 -> Natas 4 robots.txt ]

#robots.txt

robots.txt는 웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약이다.

반드시 폴더명 맨 끝에 /를 붙여야한다.

특정 디렉토리의 접근을 허가하려면

''' User-agent: 제어할 로봇의 User-Agent Allow: /foo/bar/ '''

특정 디렉토리의 접근을 차단하려면

''' User-agent: 제어할 로봇의 User-Agent Disallow: /foo/bar/ '''

natas4:Z9tkRkWmpt9Qr7XrR5jWRkgOU901swEZ