robots.txt 설정하기 > 온라인강의

본문 바로가기
 
 
 
비즈니스의 시작 비즈명함 ~ 가격, 품질, 배송 3가지 만족을 드리는 비즈명함 / 즉석명함 / 급행서비스 / 서울 전지역 수도권일부 3시간배송

오늘 316
어제 1,833
최대 2,526
전체 3,731,914

최근 방문자

1979
1978
1864
1980
1833
316
15 16 17 18 19 20
온라인강좌 홈 > 온라인강좌 > 온라인강좌

Search | robots.txt 설정하기 (up. 2017-12-22 18:51)

페이지 정보

작성일2007-05-17 15:30 조회6,553회 댓글0건

본문

robots.txt 는 외부 검색엔진에 본인의 웹페이지 내용이 수집되는 것을 원치 않는 경우 사용합니다.

Allow or Disallow
disallow: /   : 모든 하위 문서에 대해 배재를 의미하고,
disallow:     : 아무것도 지정하지 않으면 허가를 의미
disallow: /data/    : data 디렉토리만
disallow: /data     : data 디렉토리와 그 디렉토리내의 파일이 적용대상


1. 검색엔진 수집 허용
User-agent: *
Disallow:

robots.txt 파일은 설정한 순간부터 검색 로봇이 방문하지 않게 됩니다.
따라서 이미 검색엔진에 수집된 페이지가 삭제되는 데는 시간이 걸립니다.
바로 삭제하길 원하시는 분은 직접 해당 검색 사이트에 요청합니다.

네이버 검색허용
User-agent: Yeti
User-agent: Naverbot
Allow: /


2. 검색차단(거부)
User-agent: *
Disallow: /

네이버 검색차단
User-agent: Yeti
User-agent: Naverbot
User-agent: AdsBot-Naver
Disallow: /

archive.org 의 수집을 차단
User-agent: ia_archiver
Disallow: /

구글 이미지 검색에서 수집을 차단
User-Agent: Googlebot-Image
Disallow: /

야후 이미지 검색에서 수집을 차단
User-Agent: Yahoo-MMCrawler
Disallow: /

벅스뮤직을 비롯한 코리아와이즈넛의 검색로봇을 수집 거부
User-Agent: wisebot
Disallow: /

※ 다음(www.daum.net)은 구글과 같은 검색로봇을 사용합니다. 구글을 거부하면 다음 검색 로봇도 거부하게 됩니다.
※ 파란(www.paran.com)은 야후의 검색로봇을 사용합니다. 야후를 제외하시면 파란도 함께 제외됩니다.


3. 전체 허용할때
User-agent: *
Allow: /


4. 특정폴더는 검색허용 안할때
User-agent: *
Disallow: /adm/ 


5. Sitemap 경로 등록
Sitemap: http://경로/sitemap.xml


6. 샘플 (광고성 봇 차단 / 주요검색엔진 허용)
User-agent: AhrefsBot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BusinessBot
Disallow: /

User-agent: CheckMarkNetwork
Disallow: /

User-agent: Contacts-Crawler
Disallow: /

User-agent: Dataprovider.com
Disallow: /

User-agent: DialogSearch.com Bot
Disallow: /

User-agent: Digincore crawler bot
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: kisaBot
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: MediavBot
Disallow: /

User-agent: memoryBot
Disallow: /

User-agent: mfibot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: NeumobBot
Disallow: /

User-agent: PageAnalyzer
Disallow: /

User-agent: PagesInventory
Disallow: /

User-agent: Plukkie
Disallow: /

User-agent: roboto
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: RSNBOT
Disallow: /

User-agent: SafeDNSBot
Disallow: /

User-agent: seoscanners.net
Disallow: /

User-agent: semanticbot
Disallow: /

User-agent: SiteExplorer
Disallow: /

User-agent: SMTBot
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: SurveyBot
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: UXCrawlerBot
Disallow: /

User-agent: Virusdie crawler
Disallow: /

User-agent: Wotbox
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: YisouSpider
Disallow: /


User-agent: 360Spider
allow:

User-agent: 360Spider-Image
allow:

User-agent: 360Spider-Video
allow:

User-agent: AdsBot-Naver
allow:

User-agent: bingbot
allow:

User-agent: Daum
allow:

User-agent: Googlebot
allow:

User-agent: Googlebot-Mobile
allow:

User-agent: HaosouSpider
allow:

User-agent: Yeti
allow:

User-agent: ZumBot
allow:

Disallow: /adm/ 
Disallow: /data/
Disallow: /extend/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
Disallow: /theme/

Sitemap: http://경로/sitemap.xml



참고자료
http://help.egloos.com/7792
http://radiocom.kunsan.ac.kr/lecture/home_page/robots_txt.html
http://www.egocube.pe.kr/Translation/Content/seo/201006140001
  • 페이스북으로 보내기
  • 트위터로 보내기
  • 구글플러스로 보내기

댓글목록

등록된 댓글이 없습니다.


온라인강의 목록

Total 26건 1 페이지
온라인강의 목록
번호 제목
26
25
24
Search 다양한 bot 의 세계 (up.2017-12-22 19:13) Hit.430
23
22
Search 네이버 검색등록 삭제하기 (up.2017-11-03 16:10) Hit.500
21
20
19
Search SEO 최적화 메타 구성하기 (up.2017-12-15 10:40) 인기글 Hit.1228
18
17
16
15
14
13
12
Search 사이트 등록하기 (up.2017-08-22) 인기글 Hit.23792
11
Search 네이버 등록 서류 접수 (up.2017-03-29) 인기글 Hit.5778
10
Search 검색 웹문서 삭제요청 (up.2009-09-21) 인기글 Hit.6568
9
8
7
6
5
열람중
Search robots.txt 설정하기 (up.2017-12-22 18:51) 인기글 Hit.6554
3
2
게시물 검색
 
 
상호: 해피정닷컴 대표:정창용 사업자등록번호:119-05-36414 (08394) 서울시 구로구 디지털로 242 한화비즈메트로1차 1502호
전화: 070-7600-3500 팩스:02-865-3528 개인정보관리:정창용 mail@happyjung.com 에스크로확인
개인정보취급방침
COPYRIGHT 2001~2018 해피정닷컴. All rights reserved. 통신판매신고:2014-서울구로-0074
 
모바일 버전으로 보기