robots.txt 설정하기 > 기술자료

본문 바로가기
사이트 내 전체검색

기술자료

Search robots.txt 설정하기

페이지 정보

댓글 0건 조회 7,547회 수정일 17-12-22 18:51

본문

robots.txt 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow:     : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : data 디렉토리만
disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상


1. 검색엔진 수집 허용
User-agent: *
Disallow:

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /


2. 검색차단(거부)
User-agent: *
Disallow: /

네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.


3. 전체 허용할때
User-agent: *
Allow: /


4. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/ 


5. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml


6. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
User-agent: AhrefsBot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: CheckMarkNetwork
Disallow: /

User-agent: Contacts-Crawler
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: seoscanners.net
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SiteExplorer
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Virusdie crawler
Disallow: /

User-agent: Wotbox
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: YisouSpider
Disallow: /


User-agent: 360Spider
allow:

User-agent: 360Spider-Image
allow:

User-agent: 360Spider-Video
allow:

User-agent: AdsBot-Naver
allow:

User-agent: bingbot
allow:

User-agent: Daum
allow:

User-agent: Googlebot
allow:

User-agent: Googlebot-Mobile
allow:

User-agent: HaosouSpider
allow:

User-agent: Yeti
allow:

User-agent: ZumBot
allow:

Disallow: /adm/ 
Disallow: /data/
Disallow: /extend/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /theme/

Sitemap: http://경로/sitemap.xml



참고자료
http://help.egloos.com/7792
http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
  • 트위터로 보내기
  • 페이스북으로 보내기
  • 구글플러스로 보내기

댓글목록

등록된 댓글이 없습니다.


Total 29건 1 페이지
기술자료 목록
번호 제목
29 Search
Bing (빙) 웹마스터도구 사이트 등록하기 ( update. 2018-07-01 02:41 ) Hit.109
28 Search
27 Search
26 Search
25 Search
Naver(네이버) 웹마스터도구 묻고 답하기 ( update. 2018-01-08 15:24 ) Hit.1261
24 Search
다양한 bot 의 세계 ( update. 2017-12-22 19:13 ) Hit.1178
23 Search
검색사이트 검색창 크기 비교 ( update. 2017-11-05 20:02 ) Hit.933
22 Search
Naver(네이버) 검색등록 삭제하기 ( update. 2017-11-03 16:10 ) Hit.1190
21 Search
접속자 로그 분석 서비스 ( write. 2017-10-19 ) Hit.961
20 Search
Google(구글) 검색결과 순위 결정요인 ( write. 2017-05-18 ) Hit.4664
19 Search
SEO 최적화 메타 구성하기 ( update. 2018-07-12 02:43 ) Hit.2572
18 Search
Baidu(바이두) 사이트 등록하기 ( write. 2017-01-23 ) Hit.1911
17 Search
16 Search
15 Search
14 Search
13 Search
Google(구글) 웹마스터도구 사이트 등록하기 ( update. 2018-07-01 02:44 ) Hit.5427
12 Search
사이트 등록하기 ( update. 2017-08-22 ) Hit.24019
11 Search
Naver(네이버) 등록 서류 접수 ( write. 2009-09-22 ) Hit.6032
10 Search
검색 웹문서 삭제요청 ( update. 2009-09-21 ) Hit.6811
9 Search
8 Search
7 Search
6 Search
Naver(네이버) 등록자정보 서약서 ( write. 2008-09-03 ) Hit.6189
5 Search
게시물 검색

회원로그인

계좌이체 or 신용카드 결제하기
해피정닷컴으로 대금결제를 할 수 있습니다

접속자집계

오늘
1,692
어제
2,000
최대
3,174
전체
4,131,729

회사명: 해피정닷컴   사업자번호: 119-05-36414   전화: 070-7600-3500   팩스: 02-865-3528   주소: 08394 서울시 구로구 디지털로 242 한화비즈메트로1차 1502호
대표: 정창용   개인정보보호책임자: 정창용   통신판매업신고번호: 2014-서울구로-0074 [사업자등록정보확인]   건강기능식품영업신고번호 제2018-0080452호
Copyright 2001~2018 해피정닷컴. All Rights Reserved.