[검색엔진 최적화(SEO)의 기초 robots.txt 파일 만드는 방법]

내 홈페이지를 돈 없이 홍보하는 좋은 방법은 검색엔진 최적화(SEO)입니다.
SEO가 잘 되어 있는 홈페이지는 그렇지 않은 홈페이지에 비해 검색엔진에 더 많이 노출될 기회를 갖기 때문입니다.
검색엔진에 최적화된 홈페이지가 별도의 비용 없이도 좀 더 많은 사람들이 방문하게 할 수 있습니다.

오늘은 SEO 작업에 가장 기본이 되는 'robots.txt 파일 만드는 방법'을 알려드리겠습니다.

- robots.txt 란?

로봇 배제 표준(robots exclusion standard), 로봇 배제 프로토콜(robots exclusion protocol)은 홈페이지에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술하였습니다.

검색엔진에게 내 홈페이지의 자료를 퍼가도 된다 혹은 이 폴더는 퍼가지 말라라는 것을 알려주는 지표가 됩니다.

- robots.txt 위치

robots.txt 파일은 항상 사이트의 루트 디렉토리에 위치해야 합니다.
http://도메인명/robots.txt 로 저장해야 검색봇이 정상적으로 크롤링을 하게 됩니다.

- robots.txt 문법

User-agent:*
Allow: /
설명 : 모든 검색로봇에 대해 모든 페이지 접근 허락

User-agent: *
Disallow: /
설명 : 모든 로봇 접근 차단

User-agent:*
Disallow: /admin/
설명 : 모든 검색로봇에 대해 /admin/ 폴더 접근 차단

User-agent: Googlebot
Disallow: /
설명 : 구글 검색로봇에 대해 모든 검색 제외

폴더에 대한 조건
"/admin"은 디렉터리와 파일까지도 포함하고
"/admin/"은 디렉터리만을 의미함

다양하게 조합하여 사용할 수 있습니다.
User-agent: googlebot        # googlebot 로봇만 적용
Disallow: /private/          # 이 디렉토리를 접근 차단한다.

User-agent: googlebot-news   # googlebot-news 로봇만 적용
Disallow: /                  # 모든 디렉토리를 접근 차단한다.

User-agent: *                # 모든 로봇 적용
Disallow: /something/        # 이 디렉토리를 접근 차단한다.

각 검색엔진의 경우 검색로봇의 크롤링 후 반영되는데 있어서는 24시간 정도가 지나야 반영이 되는 것으로 보입니다.

감사합니다.