robots.txt 설정하기 > 기술자료

본문 바로가기
사이트 내 전체검색

기술자료

Search robots.txt 설정하기

페이지 정보

댓글 0건 조회 8,259회 작성일 2007-05-17 15:30 ~ 2017-12-22 18:51

본문

robots.txt 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow:     : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : data 디렉토리만
disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상


1. 검색엔진 수집 허용
User-agent: *
Disallow:

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /


2. 검색차단(거부)
User-agent: *
Disallow: /

네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.


3. 전체 허용할때
User-agent: *
Allow: /


4. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/ 


5. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml


6. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
User-agent: AhrefsBot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: CheckMarkNetwork
Disallow: /

User-agent: Contacts-Crawler
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: seoscanners.net
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SiteExplorer
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Virusdie crawler
Disallow: /

User-agent: Wotbox
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: YisouSpider
Disallow: /


User-agent: 360Spider
allow:

User-agent: 360Spider-Image
allow:

User-agent: 360Spider-Video
allow:

User-agent: AdsBot-Naver
allow:

User-agent: bingbot
allow:

User-agent: Daum
allow:

User-agent: Googlebot
allow:

User-agent: Googlebot-Mobile
allow:

User-agent: HaosouSpider
allow:

User-agent: Yeti
allow:

User-agent: ZumBot
allow:

Disallow: /adm/ 
Disallow: /data/
Disallow: /extend/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /theme/

Sitemap: http://경로/sitemap.xml



참고자료
http://help.egloos.com/7792
http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
  • 트위터로 보내기
  • 페이스북으로 보내기
  • 구글플러스로 보내기
  • 카카오톡으로 보내기

댓글목록

등록된 댓글이 없습니다.


Total 29건 1 페이지
기술자료 목록
번호 제목
29 Search   388  2018-07-01 02:38 ~ 2018-07-01 02:41  
28 Search   501  2018-05-24 17:41 ~ 2018-05-24 18:51  
27 Search   1083  2018-04-30 22:49 ~ 2018-09-21 17:26  
26 Search   1736  2017-12-22 10:05 ~ 2018-02-27 14:55  
25 Search   1625  2017-12-20 18:29 ~ 2018-01-08 15:24  
24 Search   1702  2017-12-20 13:08 ~ 2017-12-22 19:13  
23 Search   1216  2017-11-05 19:18 ~ 2017-11-05 20:02  
22 Search   1662  2017-10-20 00:53 ~ 2017-11-03 16:10  
21 Search   1294  2017-10-19 11:01  
20 Search   5284  2017-05-18 00:16  
19 Search   3574  2017-03-29 17:44 ~ 2018-10-07 01:16  
18 Search   2349  2017-01-23 13:40  
17 Search   2991  2017-01-20 15:15 ~ 2017-12-05 18:34  
16 Search   2997  2016-09-06 11:59  
15 Search   4814  2014-07-17 16:12  
14 Search   5030  2013-09-25 17:54  
13 Search   5851  2012-02-11 08:13 ~ 2018-10-15 14:40  
12 Search   24173  2009-11-25 17:52 ~ 2017-08-22 00:00  
11 Search   6170  2009-09-22 19:23  
10 Search   6982  2009-09-02 11:46 ~ 2009-09-21 00:00  
게시물 검색

회원로그인

계좌이체 or 신용카드 결제하기
해피정닷컴으로 대금결제를 할 수 있습니다

접속자집계

오늘
1,827
어제
2,925
최대
3,174
전체
4,318,066

회사명: 해피정닷컴   사업자번호: 119-05-36414   전화: 070-7600-3500   팩스: 02-865-3528   주소: 08394 서울시 구로구 디지털로 242 한화비즈메트로1차 1502호
대표: 정창용   개인정보보호책임자: 정창용   통신판매업신고번호: 2014-서울구로-0074 [사업자등록정보확인]   건강기능식품영업신고번호 제2018-0080452호
Copyright 2001~2018 해피정닷컴. All Rights Reserved.