Google önbelleğinden hatalı sayfaları kaldırın.

Google  arama motorundan hatalı web sayfaları kaldırmak sitemiz için önemlidir.

Sitenizi içeriğini yeni bir domaine taşıdınız ve eski sitenizde de farklı sayfalara yer veriyorsunuz veya bazı sayfaları sildiğimizi düşünelim. Bunu biz yaptık ancak Arama Örümcekleri belli aralıklarla sayfamızı ziyaret edip içerikleri indeksler. Eğer önceden indekse alınmış sayfa bulunamıyorsa bunları hepsi kayıt altına alınır hatta sunucunuz hizmet kesintisi oluşturduysa tüm sitenizin sayfalarına da ulaşamayacaktır. 404 olarak  isimlendirilen bu hata sitenizin arama sonuçlarında gerilere düşmesine neden olur.  Google web yöneticisi araçlarında web üzerinde siteniz üzerinden arama sorgularına baktığınızda gösterim oranlarınızın düştüğünü göreceksiniz. 

URL kaldırma için Şimdi şu adımları uygulayalım.

1. Öncelikle www.google.com/webmasters/ sayfasından hesabımıza giriş yapalım. Eğer yoksa kaydımızı yaptıralım.

2. Yok olanlar için yazıyorum. Site Ekle kısmından yönetmek istediğiniz URL adresini giriyoruz.

3. Daha sonra sitenin bizim yönetimimizde olduğunu Google a belirtmek gerekiyor. Bunun için site dogrulama işlemini yapmamız gerekiyor. Bunu detaylı anlatmadan sadece web arayüzünden indireceğiniz bir dosyayı, sitenizin kök dizinine koymanız veya verilen bir html kodunu index sayfanız içinde belirtilen alanlara yapıştırmanız gerektiğini söyleyeyim. Bu işlemlerden sonra adımlara devam edip site dogrulama yı tıklatmamız yeterli. 

4. Kontrol paneli > Tanılamalar > Tarama hataları kısmında kısmında DNS , Sunucu Bağlantı  ve Robots.txt Getirme  ile ilgili bir sıkıntı olmadığını ama 697 adet erişilemeyen sayfa olduğunu görüyorum. Bu ekran görüntüsünün altında ilgili URL adları listelenmiş durumda. Bunları tek tek tıklatığınızda hata ayrıntılarını, sitemap haritası içinde olup olmadığını ve bu sayfanın dahili ve harici linklerini göreceksiniz.

5. Yine bu sayfada indirme butonunu tıklatarak tüm sayfaları Excel sayfasına alıyoruz. CrawlErrorsList_siteadı.xlsx veya .xls şeklinde bir dosya oluşacaktır.

6. Bu dosya üzerinde bazı formüller ile dosya adını net olarak elde edelim. E sutununda yazan bilgileri alıp hepsini web site kökünde yer alan Robots.txtdosyasına yapıştıralım. Bu formülleri sırası ile B1,C1,D1 VE E2 alanarına yazıp, alt satırlara kopyalıyoruz. Bu işlem çok fazla URL hatası alan siteler için kolaylık sağlayacaktır. Eğer hata sayınız fazla değilse excel işlemini atlayabilirsiniz.

7. Robots.txt ye Disallow  olarak URL ekleme

8. URL kaldırma isteğinde bulunma

Site yapılandırma> Tarayıcı erişimi üzerinden URL’leri kaldır sekmesine gelip, Excelde D sütundaki alanları tek tek yapıştırıp, sayfa arama sonuçlarından ve bellekten kaldırmak için istekte bulunuyoruz. Excel den Web Gezgini arayüzüne veya tam tersi geçişlerde SHIFT + ALT kombinasyon ile tuşlara basarsanız sayfalar arasında hızlı geçiş sağlarsınız. Bu özellikle çok fazla URL sayfası hatası durumunda kolaylık sağlar. 

9. Tüm bu işlemler tamamladığında Tanılamalar> Tarama Hataları sekmesinde tüm hatalı URL leri seçip Düzeltildi olarak olarak işaretleyelim. Gösterim satırına kadar seçme yapabileceğinizden bu işlemleri Göster satır 500 şeklinde işaretleyip tüm sayfalarınız için yapmanız gerektiği hatırlatayım.

Sonuç ;Bir sonraki boot taramasında tüm 404 URL hataları sıfırlanacaktır. Arama sorgularından sitenizin gösterim sayısının artığını gözlemleyebilirsiniz.

Robots.txt ile ilgili bir kaç ipucu:

Eğer robots.txt de bir problem olduğunu düşünüyorsanız ;

Google ve Diğer Arama Motorları Robots.txt dosyasını UFT-8 formatında olmasını tercih eder. Bazen PHP işlemleri ile oluşturulan dosyalarda  UFT-8 formatı BOM denilen Byte Order Mark ï »¿ işareti dosyanın başına eklenir, bu dosyanın Unicode yani evrensel bir karekter seti gösterdiğini belirtir. Robots.txt  BOM  içermeyecek şekilde oluşturulmalıdır.  Notepad++  gibi bir arayüz ile robots.txt dosyasını açın ve UFT BOM dönüştür seçeneği ile kaydedin. Gereksiz boş satırları silin. Resmi formata göre  sitemaptan önce Allow: / kullanmak tavsiye edilir.

Bir başka nokta Boot sitenizi haritanız doğrultusunda hemen indekslemeyebilir sabır gösterip beklemelisiniz. Ben 3-4 gün içersinde kısmi olarak indekslemenin başlayacağını düşünüyorum. Kalıcı bağlantınızın formatına bağlı olarak yani / sonlandırma kullandıysanız “Bir dizin olarak algılandı; belirli dosyaların farklı kısıtlamaları olabilir” uyarısı sayfanızın indekslenmeyeceği anlamında değildir.

Başka bir nokta ;

User-agent: *
Disallow: /

sitenin tamamı Boot motorları tarafından engellenir. Eğer sadece

User-agent: *
Disallow:

yazdığımızda yani / kullanmaz isek bu Allow: veya Allow: / yazılımlarına eşdeğerdir. Boot lar siteye erişebilir.

• Bir kuralın tüm dosyaları ve dizinleri etkilemesini istiyorsak / kullanalım.

• Dosyaları veya dizinleri ayrı ayrı belirtmek için

/dizi/dosya.html 
/dizi/ornek/