Kategori: BigData

  • Sqoop Nedir?

    Sqoop Nedir? Apache Sqoop, ilişkisel veri tabanları ile hadoop arasında büyük verilerin aktarımını sağlayan java tabanlı bir yazılımdır. Her iki yönde aktarım yapabilmektedir. Veriyi ilişkisel veri tabanından okuyup (Oracle, MySQL, SQL Server, Postgres, Teradata vs) hadoop dağıtık dosya sistemine (HDFS, Hive, Hbase …) aktarabildiği gibi hadoop ortamından okuyup ilişkisel veri tabanlarına da yazılabilmesini sağlar. Sqoop,…

  • Oracle Exadata Deployment Assistant Kurulumu Ve İşlem Adımları – OEDA Kurulumu

    Oracle Exadata Deployment Assistant Kurulumu Ve İşlem Adımları – OEDA Kurulumu Şirketiniz için DWH çözümü olarak Oracle Exadata seçti iseniz ve o kocaman kabinet çılgın izinler ve onaylar sonucunda bir şekilde veri merkezinize konumlandı ise, (burası biraz zorlayıcı) iş kurulumu yapacak mühendis için gerekli olan dosyanın oluşmasını sağlayan deployment tool a kalıyor. Bu Araç mühendise…

  • Kafka restartında Memory Allocation Error Hatası

    Kafka restartında Memory Allocation Error Hatası Kafka başlarken aşağıdaki gibi bir hataya düştüğünde ki bu normalde olmuyorsa ama topic sayınız arttı ise genelde olur , bu durumda aşağıdaki çözümü uygulayabilirsiniz. Linux sysctl ayarlarınızda vm.max_map_count değerini arttırmalıyız. sysctl -w vm.max_map_count= #ön tanımlı değeri 65536Aşağıdaki değeri basabiliriz.sysctl -w vm.max_map_count=262144Aktif olması için sysctl -p komutunu kullanabilirsiniz. Ayhan ARDA

  • Prometheus Kurulumu

    Prometheus Kurulumu

    Prometheus Kurulumu Prometheus açık kaynaklı, pull temelli monitöring aracıdır. Çok hafif ve iyi bir uyarı mekanizmasına sahiptir. Centos/rhel tabanlı dağıtımlarda aşağıdaki gibi kurabilirsiniz. https://prometheus.io/download/ adresinden şu an güncel sürüm olan 2.34 ü indireceğiz. Başlamadan önce eğer root değilseniz sudo kullanabilir olduğunuza emin olunuz, networkünüzde prometheus un default portu olan 9090 portu için bir engel olmamalı…

  • ElasticSearch Unassigned shards hatası ve çözümü

    ElasticSearch Unassigned shards hatası ve çözümü Eğer benim gibi single node cluster kullanıyor iseniz aşağıdaki komutu ssh tan basarak replica sayısını tekrar set edip bahsi geçen hatayı giderebilirsiniz. Tabi ElasticSearch portunuz farklı ise komutta değiştiriniz. Ya da replica sayınızı örneğin 5 ten 4  indirdiyseniz number of replicas bölümünden sisteminize uygun olacak şekilde değiştiriniz. curl -XPUT…

  • Cpaneldeki Sitelerin Access Loglarını Logstash-Forwarder ile ElkStack ta Logstash Server a Gönderme

    Cpaneldeki Sitelerin Access Loglarını Logstash-Forwarder ile ElkStack ta Logstash Server a Gönderme

    Daha önceki yazılarımızda bir elkstack server kurmuştuk ancak henüz farklı bir serverdan log göndermemiştik , şimdi örnek olarak elimizde bir cpanel sunucu olduğunu ve içinde yüzlerce site olduğunu varsayalım , cpaneldeki sitelerin erişim logları bilindiği üzere /usr/local/apache/domlogs/ altında yer almaktadır , her bir site için bu yolda birer klasör ve içinde sitelerin logları yer almaktadır.…

  • Ubuntu 14.04 üzerine Hadoop 2.6.0 Kurulumu

    Ubuntu 14.04 üzerine Hadoop 2.6.0 Kurulumu

    Bu yazımızda tek bir node üzerine Hadoop kurulumu yapacağız. Gereksinimler; 1 – Oracle Java 8 Kuralım. Apache Hadoop bir java framework ü , dolayısı ile çalışabilmesi için java kurulu bir sunucu olmalı. Yukarıdaki işlem java yı /usr/lib/jvm/java-8-oracle path ine kuracaktır. Kurulumu test etmek için aşağıdaki komutu girebilirsiniz. 2 – HDFS ve MapReduce Erişimi İçin Bir Grup…