Google öncesi dönemde internet ve arama motorlarının geçmişi

1990'lı yılların ortalarında internet hızla büyürken, dijital dünyada aradığınız bir şeyi bulmak o dönem var olan arama motorlarıyla yapılan zahmetli bir müzakere süreci gibiydi. Günümüzde Google hem bir portal hem de ana kapı olarak görülse de; o dönemde AltaVista, Lycos, Excite, HotBot ve Ask Jeeves gibi siteler kaosu kendi tarzları, kusurları ve özellikleri ile yönetmeye çalışıyordu.

Google öncesi arama motorlarının hikayesi, erken dönem sistemlerinin yetersiz olmasından ibaret değildir. Bu motorlar, dizinlerin önem taşıdığı, içerik taramanın bir sanat olduğu, sıralamanın zayıf olduğu ve arama kavramının henüz tek bir baskın arayüze dönüşmediği tamamen farklı bir internet ortamını yansıtıyordu.

Google'dan önceki internetin ilk kuralı, her şeyi arayıp bulabileceğiniz yönünde ortak bir varsayımın olmamasıydı. Pek çok kullanıcı sayfaları Yahoo tarzı dizinler, yer imleri, haber grupları, e-posta imzaları ve siteler arası bağlantılar aracılığıyla buluyordu; çünkü o dönemde internet insan organizasyonunun makine indekslemesiyle rekabet edebileceği kadar küçüktü. Bu dönem, Vahşi Batı tarzı bir keşfedilebilirlik dönemiydi. Arama motorları vardı ancak bunlar kürasyon ile tesadüfü harmanlayan daha geniş bir ekosistemin sadece bir parçasıydı.

Bu motorlar internetin ana kamusal arayüzü haline gelmeden önce Usenet gibi kaynaklar kullanıcılara internetteki bilgileri organize etmeyi ve keşfetmeyi gösteriyordu. 1979 yılında tasarlanan bu yapı, kullanıcılara konu tabanlı haber grupları ve ilk büyük web motorları gelmeden önce bilgiyi sosyal ve toplumsal hissettiren dağıtık bir tartışma kültürü sundu. Usenet, geniş ve dağınık dijital alanlarda tek bir arama kutusu yerine kategori ve topluluklar aracılığıyla gezinme alışkanlığının kurulmasına yardımcı oldu.

Nicole M. Radziwill, 90'larda sistem yöneticisi, programcı ve proje yöneticisi gibi görevlerde bulundu ve Usenet'i internetteki ilginç içerikleri ortaya çıkaran bir portal olarak hatırlıyor. Radziwill, 'İlginizi çekebilecek web sitelerini bulmanın yolu buydu. 1990 yılında Kuzey Carolina, Durham'da bir öğrenci olarak Usenet'e katıldım... özellikle alt.* ve misc.* grupları çok keyifliydi. İnsanlar gönderilerinin altına bağlantılar koyardı ve farkındalık organik olarak büyürdü. Daha güvenli veya daha güvenilir öneriler istiyorsanız kendinizi moderatörlü gruplarla sınırlayabilirdiniz' dedi.

Bu dönem, keşif teriminin gerçek anlam taşıdığı, kalitesine veya ne kadar süredir var olduğuna bakılmaksızın bir içeriği ilk görüntüleyen kişilerden biri olabileceğiniz, hem hayranlık hem de hayal kırıklığı barındıran bir dönemdi.

Radziwill, 'Birkaç yıl sonra webring'ler ortaya çıktı. Bir kod bloğu alır ve sitenizin HTML sayfasının altına koyarsınız; bu, bununla ilgili sonraki web sitesine bir bağlantı gömerdi. Başka biri sıradakinin ne olacağının listesini yönetirdi, bu yüzden görünürlüğünüzü artırmak için harika bir yoldu. Webring'ler için listeleri oluşturan insanlar genellikle oldukça dürüsttü, bu yüzden sabotajı aklımıza bile getirmezdik' şeklinde konuştu.

Webring'ler, BBS dönemindekilere benzer şekilde, niş ilgileri paylaşan insan gruplarından mikro toplulukların ortaya çıktığı bir dönemi hatırlatan Google öncesi başka bir unsurdur. Reddit gibi monolitik toplayıcılar ortaya çıkmadan önce webring'ler ilgilendiğiniz konulara odaklanan siteleri bulmanın birkaç yolundan biriydi.

Bu durum önemliydi çünkü internet henüz saf bir erişim makinesi haline gelmemişti. Hala bir keşif kültürüne sahipti ve birçok hizmet kullanıcıların evrensel bir dizine sorgu göndermesinden ziyade konusal kategorilerde gezinmesine yardımcı olmak için tasarlanmıştı. O dünyada bir webring veya dizin bir ödün vermeme durumu değildi, çoğu zaman asıl olaydı.

Yahoo, bu erken dönemin en iyi bilinen örneğidir. İç içe geçmiş konu kategorilerine göre organize edilmiş ve tam otomatize sıralama sistemleri yerine insanlar tarafından sürdürülen, internete yönelik insan eliyle düzenlenmiş bir kılavuz olarak başladı. Genç bir internet için bu yaklaşım şaşırtıcı derecede etkiliydi; insan editörler kaliteli siteleri belirleyebilir, bariz çöp içerikleri filtreleyebilir ve hızla büyümeye devam eden bir mecraya bir düzen duygusu empoze edebilirdi.

Radziwill, '1995 ve 1996 yıllarında bir e-ticaret dükkanı için sistem yöneticiliği yapıyordum ve yeni müşterilerimiz için web sitelerini yayına aldığımızda sürecimizin en önemli kısmı siteyi Yahoo'ya kaydetmekti. Yahoo, web siteleri için Sarı Sayfalar gibiydi. Doldurmanız gereken bir form vardı ve Yahoo'daki gerçek insanlara kaydettiğiniz bu işletmenin Yahoo'nun ana dizininde yer alacak kadar meşru ve önemli olduğunu kanıtlamanız gerekiyordu' dedi.

Bu tür bir insan kürasyonu günümüzde neredeyse hayal edilemez durumdadır.

Radziwill, Amerikan Kanser Derneği'nin (ACS) bölgesel bir şubesinin web sitesini gönderip 'yeterince önemli olmadığı' gerekçesiyle reddedildiklerini hatırlayarak, kendilerine ana ACS ile iletişime geçip henüz sahip olmadıkları sayfalarından siteye bağlantı vermelerini önerdiklerini belirtti.

Bu dönem, Yahoo gibi bir dizine insan moderatörler tarafından kabul edilmenin büyük bir gurur vesilesi olduğu bir zamandı. Ancak modelin açık sınırları vardı. İnternet balon gibi büyüdükçe ve içerik kürasyonun önüne geçtikçe insan kürasyonu sonsuza kadar ölçeklenemedi, daha pahalı ve daha az zamanında yapılabilir hale geldi. Sayfa sayısı, onları makul bir şekilde sınıflandırabilecek insan sayısını aştığı anda, gelecekte işler tarayıcılara ve sıralama sistemlerine kalacaktı.

O dönemin arama motorları ölçek sorunuyla yazılımla mücadele etti. AltaVista, Lycos, Excite ve HotBot gibi büyük ticari sistemlerin çoğu, her siteyi elle sınıflandırmak için editörlere güvenmek yerine büyüyen bir interneti otomatik olarak haritalandırmak için tarayıcılar ve dizinler kullandı. Bu motorların hepsi aynı şekilde çalışmasa da ortak bir hırsa sahiptiler: İnternetin alabildiğine çoğunu toplamak ve algoritmanın karmaşayı sıralamasına izin vermek.

Bu durum bugün size açık gelebilir ancak o zamanlar önemli bir adımdı. Özellikle AltaVista, hızlı bir tarayıcıyı ölçeklenebilir indeksleme yazılımıyla birleştirerek büyük bir adım attı ve lansmandan kısa bir süre sonra günde milyonlarca HTTP isteğini işlemeye başladı. Bu durum aramayı bir kataloğa göz atmaktan ziyade dev bir makineye sorgu göndermek gibi hissettirdi.

AltaVista, hızlı, geniş ve döneme göre olağanüstü yetenekli olduğu için 1990'ların belirleyici arama motorlarından biri haline geldi. Sonraki sürümler doğal dil tarzı aramaları destekledi ve sonuçlar kusurlu olsa da kullanıcılara internetin nihayet indekslenebilir bir bütün olarak ele alınabileceği hissiyatını verdi. Birçok insanın internetin ne olduğunu hâlâ öğrendiği ve büyüklüğüyle başa çıkmaya çalıştığı bir on yılda bu durum mucizeye yakın hissettiriyordu. Ancak modern Google gibi evrimleşmiş bir motorun aşırı sofistike yapısına kıyasla hala çok sınırlı bir araçtı.

BT destek firması Classroom365 Limited'in yöneticisi Mark Friend, 90'ların sonlarında sistem operatörü olarak çalıştı ve Google öncesi dönemde web'de arama yapmanın hem teknik bir beceri hem de bir sanat formu olduğunu hatırlıyor.

Friend, 'Çoğu insan gerçekte ne kadar kaotik olduğunu tamamen unuttu. O zamanlar AltaVista'ya bir soru yazdıysanız, spesifik bir şey arıyorsanız şansınız sizden yana değildi. Sizi kalabalık bir odaya bağırmak kadar kafası karışık bırakacak 40 bin sonuç alırdınız' dedi.

Google'ın bir zamanlar kullanıcı dostu olan arayüzü ve daha alakalı sonuçlarıyla karşılaştırıldığında, bir AltaVista sonuç sayfasını incelemek sabır ve zamanla gelişen gerçek bir beceri gerektiriyordu. Ancak AltaVista önemli bir şey başardı: Aramanın anlık olması gerektiği beklentisini yarattı. Bu beklenti belirleyici oldu. Kullanıcılar devasa bir dizini hızlıca tarayabilen bir arama motorunu deneyimledikten sonra hantal ve kısmi sistemleri yeterli olarak kabul etmeyi bıraktılar. AltaVista arama savaşını kazanmadı ancak katılım kurallarını netleştirdi.

Lycos ve Excite önemli bir orta yolu işgal etti. Bunlar arama markalarıydı ancak aynı zamanda portallardı, yani araçlar olduğu kadar hedef olmayı da amaçlıyorlardı. Arama; kullanıcıları sonuç sayfalarından uzaklaştırıp sitede tutmak için tasarlanmış haber, e-posta, spor, hava durumu, finans ve diğer içerikler için ayrılmış bölümlerin yanında yer alıyordu.

Bu şirketler kategorinin ne kadar kararsız olduğunu gösterdi. Bazı motorlar genişliğe, bazıları hıza vurgu yaparken, bazıları editoryal kanalları otomatik sonuçlarla günümüzde yabancı gelen şekillerde harmanladı. 'Arama motoru' etiketi, dizin hizmetleri ve tarayıcılardan, aramanın üçüncü derece bir özellik olarak eklendiği portallara kadar çok çeşitli ürünleri kapsıyordu.

HotBot, o dönemin teknik açıdan daha ciddi arama motorlarından biri olarak ün kazandı. Kullanıcıların arama kalitesinin hem dizinin boyutuna hem de arkasındaki sıralama sisteminin gelişmişliğine bağlı olduğunu fark etmeye başladığı bir dönemde ortaya çıktı; ölçeklenebilir arka uç Inktomi tarafından sağlandı. Hızlı bir tarama yeterli değildi; insanlar alakalı, güncel ve bariz bir şekilde manipüle edilmemiş sonuçlar istiyordu.

Bu gerilim, makine tabanlı aramanın ilk nesillerindeki bir zayıflığı ortaya çıkardı. Bir sistem sayfa içi metin sinyallerine çok fazla güvenirse, insanlar sıralamayı yapay olarak yükseltmek için içeriklerini kelime fazlalığıyla doldurabilirdi. Bir motor çoğunlukla kolayca manipüle edilebilen sayfa içi sinyallere güvense pazarlama kalitenin önüne geçebilirdi. Erken dönem internet, kimse modern anlamda 'arama motoru optimizasyonu' (SEO) terimini kullanmadan önce bile hızla bir manipülasyon laboratuvarı haline geldi.

Ask Jeeves, aramayı konuşma tarzı hissettirmeye çalıştığı için öne çıktı; bu fikir yapay zeka sohbet botu çağında özellikle öngörülebilir hissettiriyor -ancak Ask Jeeves açıkça günümüzün büyük dil modellerine dayalı konuşma arayüzüne yakın hiçbir şey sunmuyordu. Mark Friend, Ask Jeeves'in gerçekçi bir şekilde fütüristik hissettirdiğini çünkü kullanıcılardan anahtar kelimelerle düşünmelerini istemek yerine doğal dilde sorgu yapmaya davet ettiğini ve bilgili bir asistan tarafından yönetilen bir web izlenimi verdiğini söyledi.

Sorun şu ki doğal dilde iletişim kurmak zordur. Kullanıcılar her zaman temiz sorular sormuyordu ve alttaki sistemler ölçeklenebilir bir şekilde niyeti güvenilir bir şekilde çıkaracak kadar henüz iyi değildi. Ask Jeeves akılda kalıcıydı çünkü derin öğrenme ve LLM'lerin desteği olmadan kullanıcı deneyimini dönemin teknolojisinin destekleyebileceğinden daha iyi anladığını iddia ediyordu.

Google öncesi internet aynı zamanda endüstriyel olmayan bir SEO ortamıydı. Site sahipleri görünürlüğü artırmaya çalışıyordu ancak modern arama optimizasyonu sistemi, Google'ın bir sonraki gizemli hamlesini tahmin etmeye çalışan tam departmanlardaki 'uzmanlarla' daha sonra devasa, profesyonelleşmiş bir disiplin haline gelmemişti. Erken dönem motorları hala anahtar kelime tekrarı, meta veriler ve gönderim taktikleri gibi açık sinyallerle etkilemek nispeten kolaydı.

Friend o günleri hatırlayarak, 'İnsanlar o zamanlar sıralamadan bahsetmiyordu. URL'lerini gönderir ve bir aramada görünüp görünmeyeceğini görmek için sabırla beklerlerdi. Herkes Meta anahtar kelime etiketini ciddiye alıyordu ve gizli anahtar kelimeleri web sitesine dahil etmek için 'beyaz arka plan üzerine beyaz metin' uygulamasını kullanmak web yöneticilerinin arama motoru tarayıcıları için kullandığı meşru bir taktikti. Cezalandırma korkusu yoktu ve bir web sitesi inşa edip parmaklarınızı çaprazlayıp en iyisini umuyordunuz' dedi.

90'ların sonlarına doğru motorlar beyaz üzerine beyaz yaklaşımını spamdexing olarak tanımladı ve harekete geçti. Her iki durumda da bu, sıralamanın bugüne göre hem daha basit hem de daha kırılgan olduğu anlamına geliyordu. Erken arama interneti, kuralların henüz sertleşmediği ve yayıncılar ile motorlar arasındaki geri bildirim döngüsünün hala yönetilebilir, test edilmesi ve yorumlanması daha kolay olduğu deneysel bir aşamaydı. Arama, web'e açılan ana geçit haline geldiğinde, bu açık uçlu ortam daha düşmanca bir ortama dönüştü.

Friend, 'Çoğu insanın yüzleşmek istemediği sert gerçek, sitelerden veri çekme ve sıralamanın interneti bir içerik üretim tesisine dönüştürdüğüdür. Web siteleri insanlar için yazılmaktan çıkıp öncelikle arama motoru tarayıcıları için yazılmaya başlandı' ifadelerini kullandı.

Google'ın çok önemli katkısı arama motorunu keşfetmesi değildi; sıralama mantığını değiştirmesiydi. Diğer şeylerin yanı sıra PageRank, bağlantıları otorite sinyalleri olarak ele aldı ve bu da alaka düzeyini kısmen internetin kendisinin bir sayfaya nasıl işaret ettiği meselesi haline getirdi. Bu önemli bir kaymaydı çünkü sonuçları daha güvenilir gösterdi ve basit manipülasyonu zorlaştırdı.

Önemlisi Google, bu sıralama yaklaşımını sadeleştirilmiş bir arayüz ve yoldan çekilen bir sonuç sayfasıyla eşleştirdi. Temiz tasarım önemliydi çünkü aramanın bir eğlence parkı portalı değil, bir hizmet olması gerektiğini pekiştirdi. Uygulamada Google, arama kutusunu evdeki ön kapının hizmet ettiği aynı özsel ve hayati önemle tüm internetin ön kapısı gibi hissettirdi.

Geriye dönüp bakıldığında Google öncesi dönemi daha yavaş, daha dağınık ve birçok yönden daha az verimliydi. Ancak aynı zamanda sınırsız potansiyel öneren kanunsuz bir atmosferin yanı sıra bilgilerin nasıl bulunması, kategorize edilmesi ve değerlendirilmesi gerektiği konusunda daha rekabetçi fikirlere sahipti. Bazı sistemler insanlara güveniyordu. Bazıları tarayıcılara güveniyordu. Bazıları dizinlere, bazıları ise düz İngilizceyle ifade edilen sorulara güveniyordu.

Friend o günleri, 'İnternet doğasında var olan bir dağınıklık ve kaosa sahipti. Ama aynı zamanda daha önce çok daha insanileştirilmiş bir yerdi. Birçoğumuzun o zamana duyduğu nostaljiyi bu hissettiriyor. İnternetin zanaatkar bir havası vardı. Notepad ve Dreamweaver gibi metin editörleri kullanan gerçek insanlar tarafından yapılmıştı. Bir hedefe başlayıp kendinizi bilinçsiz bir grubun hayran sitesinde bulabilir, ardından eski sentezleyicileri tartışan bir forumda ve nihayetinde bir NASA sayfasında son bulabilirdiniz' sözleriyle anlattı.

Bu çeşitlilik hatırlanmaya değerdir çünkü aramanın hiçbir zaman şimdi olduğu gibi görünmeye mahkum olmadığını göstermektedir. Google öncesi motorlar sadece başarısız öncüller değildi. İnternetin acil hale getirdiği ancak henüz bariz bir şekilde çözülemez olduğu bir sorunu ele almak için yapılan ciddi girişimlerdi. Google, internetin geri kalanı eski düzeni terk etmeye hazır olduğu tam anda teknik sıralama, kullanılabilirlik ve ölçeği birleştirerek kazandı.