Bydd ffeil robots.txt a gedwir yn wraidd eich gwefan yn dweud wrth robotiaid gwe fel pryfed copa'r peiriant chwilio pa gyfeirlyfrau a ffeiliau y maent yn cael eu clymu. Mae'n hawdd defnyddio ffeil robots.txt, ond mae rhai pethau y dylech eu cofio:
- Bydd robotiaid gwe het du yn anwybyddu'r ffeil robots.txt. Y mathau mwyaf cyffredin yw botiau malware a robotiaid sy'n chwilio am gyfeiriadau e-bost i'r cynhaeaf.
- Bydd rhai rhaglenwyr newydd yn ysgrifennu robotiaid sy'n anwybyddu'r ffeil robots.txt. Gwneir hyn fel rheol trwy gamgymeriad.
- Gall unrhyw un weld eich ffeil robots.txt. Maent bob amser yn cael eu galw'n robots.txt ac maent bob amser yn cael eu storio ar wraidd y wefan.
- Yn olaf, os yw rhywun yn cysylltu â ffeil neu gyfeirlyfr sydd wedi'i heithrio gan eich ffeil robots.txt o dudalen nad yw wedi'i ffeilio gan eu ffeil robots.txt, efallai y bydd y peiriannau chwilio yn ei chael beth bynnag.
Peidiwch â defnyddio ffeiliau robots.txt i guddio unrhyw beth sy'n bwysig. Yn lle hynny, dylech roi gwybodaeth bwysig y tu ôl i gyfrineiriau diogel neu ei adael oddi ar y we yn gyfan gwbl.
Sut i ddefnyddio'r Ffeiliau Sampl hyn
Copïwch y testun o'r sampl sydd agosaf at yr hyn yr hoffech ei wneud, a'i gludo i mewn i'ch ffeil robots.txt. Newid y robot, cyfeiriadur, ac enwau ffeiliau i gyd-fynd â'ch cyfluniad dewisol.
Dau Ffeil Robots.txt Sylfaenol
Defnyddiwr-asiant: *
Gwrthod: /
Mae'r ffeil hon yn dweud y dylai unrhyw robot (Defnyddiwr-asiant: *) sy'n ei gyrchu ef anwybyddu pob tudalen ar y safle (Diddymu: /).
Defnyddiwr-asiant: *
Gwrthod:
Mae'r ffeil hon yn dweud bod unrhyw robot (Defnyddiwr-asiant: *) sy'n ei gyrchu yn caniatáu gweld pob tudalen ar y safle (Diddymu:).
Gallwch hefyd wneud hyn trwy adael eich ffeil robots.txt yn wag neu beidio â chael un ar eich gwefan o gwbl.
Amddiffyn Cyfeirlyfrau Penodol O Robotiaid
Defnyddiwr-asiant: *
Gwrthod: / cgi-bin /
Gwrthod: / temp /
Dywed y ffeil hon y dylai unrhyw robot (Defnyddiwr-asiant: *) sy'n ei gyrchu ef anwybyddu'r cyfeirlyfrau / cgi-bin / a / temp / (Gwrthod: / cgi-bin / Disallow: / temp /).
Amddiffyn Tudalennau Penodol O Robotiaid
Defnyddiwr-asiant: *
Gwrthod: /jenns-stuff.htm
Gwrthod: /private.php
Mae'r ffeil hon yn dweud y dylai unrhyw robot (Defnyddiwr-asiant: *) sy'n ei gyrchu ef anwybyddu'r ffeiliau /jenns-stuff.htm a /private.php (Gwadu: /jenns-stuff.htm Yn anwybyddu: /private.php).
Atal Robot Penodol rhag Mynediad i'ch Safle
Defnyddiwr-asiant: Lycos / xx
Gwrthod: /
Dywed y ffeil hon nad yw bot Lycos (Defnyddiwr-asiant: Lycos / xx) yn cael mynediad i unrhyw le ar y safle (Diddymu: /).
Caniatáu Un Mynediad Robot Penodol yn Unig
Defnyddiwr-asiant: *
Gwrthod: /
Defnyddiwr-asiant: Googlebot
Gwrthod:
Yn gyntaf, mae'r ffeil hon yn gwrthod pob robot fel yr oeddem wedi ei wneud uchod, ac yna'n gadael Googlebot (Defnyddiwr-asiant: Googlebot) yn cael mynediad i bopeth yn benodol (Diddymu:).
Cyfuno Llinellau Lluosog i gael yr Eithriadau Ydych Chi Eisiau yn Uniongyrchol
Er ei bod yn well defnyddio llinell gynhwysol Defnyddiwr-asiant, fel Defnyddiwr-asiant: *, gallwch fod mor benodol ag y dymunwch. Cofiwch fod robotiaid yn darllen y ffeil mewn trefn. Felly, os bydd y llinellau cyntaf yn dweud bod pob robot yn cael ei atal o bopeth, ac wedyn yn y ffeil, mae'n dweud bod pob robot yn cael mynediad i bopeth, bydd gan y robotiaid fynediad i bopeth.
Os nad ydych chi'n siŵr a ydych wedi ysgrifennu eich ffeil robots.txt yn gywir, gallwch ddefnyddio Offer Gwefeistr Gwe Google i wirio'ch ffeil robots.txt neu ysgrifennu un newydd.