Kategori: BigData

Oracle Exadata Deployment Assistant Kurulumu Ve İşlem Adımları – OEDA Kurulumu

Oracle Exadata Deployment Assistant Kurulumu Ve İşlem Adımları – OEDA Kurulumu Şirketiniz için DWH çözümü olarak Oracle Exadata seçti iseniz ve o kocaman kabinet çılgın izinler ve onaylar sonucunda bir şekilde veri merkezinize konumlandı ise, (burası biraz zorlayıcı) iş kurulumu yapacak mühendis için gerekli olan dosyanın oluşmasını sağlayan deployment tool a kalıyor. Bu Araç mühendise […]

Kafka restartında Memory Allocation Error Hatası

Kafka restartında Memory Allocation Error Hatası Kafka başlarken aşağıdaki gibi bir hataya düştüğünde ki bu normalde olmuyorsa ama topic sayınız arttı ise genelde olur , bu durumda aşağıdaki çözümü uygulayabilirsiniz. Linux sysctl ayarlarınızda vm.max_map_count değerini arttırmalıyız. sysctl -w vm.max_map_count= #ön tanımlı değeri 65536Aşağıdaki değeri basabiliriz.sysctl -w vm.max_map_count=262144Aktif olması için sysctl -p komutunu kullanabilirsiniz. Ayhan ARDA

Prometheus Kurulumu

Prometheus Kurulumu Prometheus açık kaynaklı, pull temelli monitöring aracıdır. Çok hafif ve iyi bir uyarı mekanizmasına sahiptir. Centos/rhel tabanlı dağıtımlarda aşağıdaki gibi kurabilirsiniz. https://prometheus.io/download/ adresinden şu an güncel sürüm olan 2.34 ü indireceğiz. Başlamadan önce eğer root değilseniz sudo kullanabilir olduğunuza emin olunuz, networkünüzde prometheus un default portu olan 9090 portu için bir engel olmamalı […]

ElasticSearch Unassigned shards hatası ve çözümü

ElasticSearch Unassigned shards hatası ve çözümü Eğer benim gibi single node cluster kullanıyor iseniz aşağıdaki komutu ssh tan basarak replica sayısını tekrar set edip bahsi geçen hatayı giderebilirsiniz. Tabi ElasticSearch portunuz farklı ise komutta değiştiriniz. Ya da replica sayınızı örneğin 5 ten 4  indirdiyseniz number of replicas bölümünden sisteminize uygun olacak şekilde değiştiriniz. curl -XPUT […]

Cpaneldeki Sitelerin Access Loglarını Logstash-Forwarder ile ElkStack ta Logstash Server a Gönderme

Daha önceki yazılarımızda bir elkstack server kurmuştuk ancak henüz farklı bir serverdan log göndermemiştik , şimdi örnek olarak elimizde bir cpanel sunucu olduğunu ve içinde yüzlerce site olduğunu varsayalım , cpaneldeki sitelerin erişim logları bilindiği üzere /usr/local/apache/domlogs/ altında yer almaktadır , her bir site için bu yolda birer klasör ve içinde sitelerin logları yer almaktadır. […]

Ubuntu 14.04 üzerine Hadoop 2.6.0 Kurulumu

Bu yazımızda tek bir node üzerine Hadoop kurulumu yapacağız. Gereksinimler; 1 – Oracle Java 8 Kuralım. Apache Hadoop bir java framework ü , dolayısı ile çalışabilmesi için java kurulu bir sunucu olmalı. Yukarıdaki işlem java yı /usr/lib/jvm/java-8-oracle path ine kuracaktır. Kurulumu test etmek için aşağıdaki komutu girebilirsiniz. 2 – HDFS ve MapReduce Erişimi İçin Bir Grup […]