Ana içeriğe atla

Python Selenium İçin Firefox Driver'ı Headless Olarak Kullanmak

Merhaba arkadaşlar. Uzun bir aradan sonra tekrar yazmaya başladım :) . Okul dersleri, sınavlar derken çok şükür daha serbest olduğum bir dönemdeyim.

Geçenlerde bir web sitesinden verileri çekmem gerekti ve bunu normal kütüphane ve modüller ile yapamayacağımı anlayınca selenium kullanmaya karar verdim. Çünkü, verileri çekeceğim web sitesinde sayfa dinamik olarak yükleniyordu ve javascript kodlarının yorumlanmasını gerektiriyordu. Selenium ile bu web sitesinin verilerini düzgün bir şekilde alabiliyoruz. Ben bu işlem için Firefox Driver kullandım, yani geckodriver.

Ancak her seferinde Firefox penceresinin açılıp verilerin çekilmesi hiç hoş değil. Bunun için headless olarak kullanabileceğimiz bir seçenek sunulmuş. Python'da bunu yapmak kolay.
Ya da


Artık ekrana bir Firefox penceresi gelmeden verileri arkaplanda çekebiliriz. Ancak belirtmek isterim ki, bazen headless versiyonu kullanırken verileri çekemediğiniz durumlar olabilir. Çünkü bazı web siteleri, illa ki arayüzü görüntülemenizi ister. Yani sayfadaki document.hidden değeri false olduğu anda sayfa içeriğini yüklemeye başlar. Bununla baş etmenin de bir yolu var elbet :) Selenium yardımıyla şu kodu çalıştırarak, sayfayı ekranda görüntülüyormuşuz gibi web sayfasını kandırabiliriz.


Bu kadar. Diğer driverlar için test etme şansım olmadı malesef. Eğer sizler başka driverlar için test edip olumlu sonuç alırsanız yorumlarda belirtin lütfen.

Bir başka yazıda buluşmak üzere...

Yorumlar

Bu blogdaki popüler yayınlar

Python Subprocess

subprocess modülü, yeni bir process oluşturmayı sağlayan, bunların girdi-çıktılarını ele alma imkânı veren ve dönüş kodlarını almayı sağlayan bir modüldür. Yani daha basit bir şekilde, program içinde program çalıştırmaya imkan veren bir modüldür. Subprocess Modülünün Kullanımı subprocess basit bazı process'leri kullanmak için birkaç tane fonksiyon sunuyor. Daha karmaşık bir process çalıştırmak isterseniz, Popen sınıfını kullanabilirsiniz. Bunlara detaylı bir şekilde değinmeye çalışacağız. Şimdi basit fonksiyonları inceleyelim

Infix to postfix dönüşümü

Infix to postfix dönüşümü, operatorün ortada olduğu a+b yazım şeklini operatorün sonda olduğu ab+ yazım şekline dönüştürme işlemidir. Bu yazıda iki şekilde dönüşümden bahsedeceğim:   1) Stack yapısı kullanarak dönüştürme 2) Kağıt üstünde el ile dönüştürme    Infix gösterimi, bizler için kolay bir gösterim olsa da makineler için öyle değildir. İfadeyi okurken a + b * c işleminde önce b ile c yi çarpıp sonra da a ile toplamayı kolay bir şekilde yapabiliriz çünkü bizim ifadeyi sıra ile adım adım giderek okuma zorunluluğumuz yok. Önce b*c nin öncelikle olduğunu görerek oradan başlar, sonra a ile kolayca toplarız.

Java Process Çıktısı Türkçe Karakter Sorunu

Merhaba arkadaşlar. Bildiğiniz gibi Java'da bir process oluşturmak için ProcessBuilder sınıfından yararlanıyoruz. Oluşturduğumuz process eğer çıktı üretiyorsa bu çıktıyı okuyabiliyoruz. Ancak bu çıktı Türkçe karakter içeriyorsa, biz bu çıktıyı okuduğumuz zaman düzgün bir şekilde elde edemiyoruz. Daha doğrusu kodlama Türkçe'ye göre yapılmadığı için (ş,ç,ğ,ı,ü,ö) karakterleri farklı bir şekilde ekranda görüntüleniyor. Öncelikle sorunu gözle görelim ve bunu çözmeye çalışalım. Aşağıda ping atmak üzere yazdığım bir program var. Ping atabilmek için bir process oluşturuyorum ve çıktıları ekrana yazıyorum. İşletim sistemimi Türkçe kullandığım için çıktı da Türkçe ifadeler geçiyor.