robots.txt 설정하기 > 기술자료

본문 바로가기
사이트 내 전체검색

기술자료

Search robots.txt 설정하기


페이지 정보

댓글 0건 조회 9,272회 작성일 2007-05-17 15:30 ~ 2018-12-08 20:37

본문

robots.txt 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow:     : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : 디렉토리인 경우 / 기호로 끝나야 합니다.
disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상


1. 검색엔진 수집 허용
User-agent: *
Disallow: /

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /


2. 검색차단(거부)
User-agent: *
Disallow: /

네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.


3. 전체 허용할때
User-agent: *
Allow: /


4. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/ 


5. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml


6. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
User-agent: AhrefsBot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: CheckMarkNetwork
Disallow: /

User-agent: Contacts-Crawler
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: seoscanners.net
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SiteExplorer
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Virusdie crawler
Disallow: /

User-agent: Wotbox
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: YisouSpider
Disallow: /


User-agent: 360Spider
Allow: /

User-agent: 360Spider-Image
Allow: /

User-agent: 360Spider-Video
Allow: /

User-agent: AdsBot-Naver
Allow: /

User-agent: bingbot
Allow: /

User-agent: Daum
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: HaosouSpider
Allow: /

User-agent: Yeti
Allow: /

User-agent: ZumBot
Allow: /

Disallow: /adm/ 


Sitemap: http://경로/sitemap.xml
Sitemap: http://경로/sitemap.html
Sitemap: http://경로/sitemap.php



참고자료
http://help.egloos.com/7792
http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
  • 트위터로 보내기
  • 페이스북으로 보내기
  • 구글플러스로 보내기
  • 카카오톡으로 보내기

댓글목록

등록된 댓글이 없습니다.

Total 29건 1 페이지

기술자료 목록
번호 제목
29 Search   971  2018-07-01 02:38 ~ 2018-07-01 02:41  
28 Search   989  2018-05-24 17:41 ~ 2018-05-24 18:51  
27 Search   2520  2018-04-30 22:49 ~ 2018-10-29 18:03  
26 Search   2618  2017-12-22 10:05 ~ 2018-02-27 14:55  
25 Search   2216  2017-12-20 18:29 ~ 2018-01-08 15:24  
24 Search   4976  2017-12-20 13:08 ~ 2018-12-08 20:27  
23 Search   1803  2017-11-05 19:18 ~ 2017-11-05 20:02  
22 Search   2269  2017-10-20 00:53 ~ 2017-11-03 16:10  
21 Search   1871  2017-10-19 11:01  
20 Search   6230  2017-05-18 00:16  
19 Search   4937  2017-03-29 17:44 ~ 2018-11-06 10:37  
18 Search   2898  2017-01-23 13:40  
17 Search   3917  2017-01-20 15:15 ~ 2017-12-05 18:34  
16 Search   3582  2016-09-06 11:59  
15 Search   5294  2014-07-17 16:12  
14 Search   5540  2013-09-25 17:54  
13 Search   6529  2012-02-11 08:13 ~ 2019-01-09 19:52  
12 Search   24506  2009-11-25 17:52 ~ 2017-08-22 00:00  
11 Search   6482  2009-09-22 19:23  
10 Search   7277  2009-09-02 11:46 ~ 2009-09-21 00:00  

게시물 검색

회원로그인

계좌이체 or 신용카드 결제하기
해피정닷컴으로 대금결제를 할 수 있습니다

접속자집계

오늘
2,624
어제
2,547
최대
3,306
전체
4,551,668

회사명: 해피정닷컴   사업자번호: 119-05-36414   전화: 070-7600-3500   팩스: 02-865-3528   주소: 08394 서울시 구로구 디지털로 242 한화비즈메트로1차 1502호
대표: 정창용   개인정보보호책임자: 정창용   통신판매업신고번호: 2014-서울구로-0074 [사업자등록정보확인]   건강기능식품영업신고번호 제2018-0080452호
Copyright 2001~2019 해피정닷컴. All Rights Reserved.