{"id":1543,"date":"2023-03-18T22:13:00","date_gmt":"2023-03-18T20:13:00","guid":{"rendered":"https:\/\/www.ayhanarda.com\/blog\/?p=1543"},"modified":"2023-03-18T22:14:04","modified_gmt":"2023-03-18T20:14:04","slug":"sqoop-nedir","status":"publish","type":"post","link":"https:\/\/www.ayhanarda.com\/blog\/2023\/03\/sqoop-nedir\/","title":{"rendered":"Sqoop Nedir?"},"content":{"rendered":"\n

Sqoop Nedir?<\/strong><\/h4>\n\n\n\n

Apache Sqoop, ili\u015fkisel veri tabanlar\u0131 ile hadoop aras\u0131nda b\u00fcy\u00fck verilerin aktar\u0131m\u0131n\u0131 sa\u011flayan java tabanl\u0131 bir yaz\u0131l\u0131md\u0131r. Her iki y\u00f6nde aktar\u0131m yapabilmektedir. Veriyi ili\u015fkisel veri taban\u0131ndan okuyup (Oracle, MySQL, SQL Server, Postgres, Teradata vs) hadoop da\u011f\u0131t\u0131k dosya sistemine (HDFS, Hive, Hbase \u2026) aktarabildi\u011fi gibi hadoop ortam\u0131ndan okuyup ili\u015fkisel veri tabanlar\u0131na da yaz\u0131labilmesini sa\u011flar.<\/p>\n\n\n\n

\"\"<\/a><\/figure>\n\n\n\n

Sqoop, “SQL’den Hadoop’a ve Hadoop’tan SQL’e” anlam\u0131na gelir ve Cloudera taraf\u0131ndan geli\u015ftirilmi\u015ftir.<\/p>\n\n\n\n

Sqoop\u2019un avantaj\u0131 ise veri aktar\u0131m i\u015flemlerini MapReduce g\u00f6revleri ile paralel olarak yaparak aktar\u0131m\u0131 \u00e7ok daha h\u0131zl\u0131 tamamlamak. Ayr\u0131ca MySQL ve PostgreSQL i\u00e7in JDBC kullanmadan (mysqldump gibi) daha d\u00fc\u015f\u00fck seviyeli ve performansl\u0131 veri aktar\u0131m\u0131 da yap\u0131labiliyor.<\/p>\n\n\n\n

\u0130mport i\u015flemi s\u0131ras\u0131nda Sqoop basit\u00e7e meta verilerden faydalanarak tablonun birincil anahtar\u0131n\u0131 bulup minimum ve maksimum de\u011ferlerini alarak e\u015fit olarak Map say\u0131s\u0131na uygun olarak b\u00f6lerek farkl\u0131 d\u00fc\u011f\u00fcmler \u00fczerinde bu verileri paralel olarak aktar\u0131r. Bu y\u00fczden sonu\u00e7 klas\u00f6r i\u00e7inde birden fazla dosyaya yaz\u0131l\u0131r. Aktar\u0131m s\u0131ras\u0131nda veritaban\u0131na yeni kay\u0131t geliyorsa bunlar aktar\u0131lmayabilir, veri tutarl\u0131l\u0131\u011f\u0131na dikkat etmek gerekir.<\/p>\n\n\n\n

Export i\u015flemi s\u0131ras\u0131nda ise aksi belirtilmedi\u011fi s\u00fcrece verileri binerli gruplar halinde veritaban\u0131na INSERT ediyor. Bu i\u015flem de paralel olarak yap\u0131ld\u0131\u011f\u0131 i\u00e7in aktar\u0131m s\u0131ras\u0131nda veritaban\u0131nda y\u00fck olu\u015fturabilir. Her bir grubun yaz\u0131lmas\u0131 kendi ba\u015f\u0131na bir transaction oldu\u011fu i\u00e7in burada da veri tutarl\u0131l\u0131\u011f\u0131na dikkat etmek gerekir. E\u011fer kay\u0131tlar\u0131n tamam\u0131 aktar\u0131ld\u0131ktan sonra aktif olmas\u0131 isteniyorsa ara tablo kullan\u0131m\u0131n\u0131 sa\u011flayan \u2013staging-table parametresi kullan\u0131labilir. Bu tablonun yarat\u0131lmas\u0131 ve temizlenmesi de otomatik yap\u0131lmaz, elle yapmak gerekir.<\/p>\n\n\n\n

\"\"<\/a>
Sqoop<\/figcaption><\/figure>\n\n\n\n

Hadoop geli\u015ftiricisi i\u00e7in as\u0131l olay veriler HDFS’ye y\u00fcklendikten sonra ba\u015flar. HDFS’de depolanan verilerde gizlenmi\u015f \u00e7e\u015fitli \u00f6n g\u00f6r\u00fcler elde etmek i\u00e7in bu veriler etraf\u0131nda i\u015flemler yap\u0131l\u0131r.<\/p>\n\n\n\n

Bu nedenle, bu analiz i\u00e7in ili\u015fkisel veri taban\u0131 y\u00f6netim sistemlerinde bulunan verilerin HDFS’ye aktar\u0131lmas\u0131 gerekir. \u0130li\u015fkisel veritaban\u0131ndan HDFS’ye veri almak ve vermek i\u00e7in MapReduce kodunu yazma g\u00f6revi \u00e7ok ilgi \u00e7ekici de\u011fildir ve s\u0131k\u0131c\u0131d\u0131r. Apache Sqoop’un kurtarmaya geldi\u011fi ve ac\u0131lar\u0131n\u0131 dindirdi\u011fi yer buras\u0131d\u0131r. Verileri i\u00e7e ve d\u0131\u015fa aktarma s\u00fcrecini otomatikle\u015ftirir.<\/p>\n\n\n\n

Sqoop, verileri i\u00e7e ve d\u0131\u015fa aktarmak i\u00e7in CLI sa\u011flayarak geli\u015ftiricilerin hayat\u0131n\u0131 kolayla\u015ft\u0131r\u0131r. Sadece veritaban\u0131 kimlik do\u011frulamas\u0131, kaynak, hedef, i\u015flemler vb. gibi temel bilgileri sa\u011flamalar\u0131 gerekir. Geri kalan k\u0131sm\u0131 o halleder.<\/p>\n\n\n\n

Sqoop, komutu dahili olarak, daha sonra HDFS \u00fczerinden y\u00fcr\u00fct\u00fclen MapReduce g\u00f6revlerine d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Paralellik \u00fczerinde hata tolerans\u0131 sa\u011flayan verileri i\u00e7e ve d\u0131\u015fa aktarmak i\u00e7in YARN \u00e7er\u00e7evesini kullan\u0131r.<\/p>\n\n\n\n

Sqoop \u00d6zellikleri<\/strong><\/p>\n\n\n\n

    \n
  1. Sa\u011flaml\u0131k: Apache Sqoop do\u011fas\u0131 gere\u011fi olduk\u00e7a sa\u011flamd\u0131r. Topluluk deste\u011fi ve katk\u0131s\u0131 vard\u0131r ve kolayca kullan\u0131labilir.<\/li>\n\n\n\n
  2. Tam Y\u00fck: Sqoop kullanarak, tek bir Sqoop komutuyla t\u00fcm tabloyu y\u00fckleyebiliriz. Sqoop ayr\u0131ca tek bir Sqoop komutu kullanarak veritaban\u0131ndaki t\u00fcm tablolar\u0131 y\u00fcklememizi sa\u011flar.<\/li>\n\n\n\n
  3. Art\u0131ml\u0131 Y\u00fck: Sqoop, art\u0131ml\u0131 y\u00fck i\u015flevselli\u011fini destekler. Sqoop’u kullanarak, g\u00fcncellendi\u011finde tablonun b\u00f6l\u00fcmlerini y\u00fckleyebiliriz.<\/li>\n\n\n\n
  4. Paralel i\u00e7e\/d\u0131\u015fa aktarma: Apache Sqoop, verileri i\u00e7e ve d\u0131\u015fa aktarmak i\u00e7in YARN \u00e7er\u00e7evesini kullan\u0131r. Bu, paralelli\u011fin \u00fcst\u00fcnde hata tolerans\u0131 sa\u011flar.<\/li>\n\n\n\n
  5. SQL sorgusunun sonu\u00e7lar\u0131n\u0131 i\u00e7e aktar\u0131n: Sqoop, SQL sorgusundan d\u00f6nd\u00fcr\u00fclen sonucu Hadoop Da\u011f\u0131t\u0131lm\u0131\u015f Dosya Sistemine i\u00e7e aktarmam\u0131za da izin verir.<\/li>\n\n\n\n
  6. S\u0131k\u0131\u015ft\u0131rma: -compress arg\u00fcman\u0131 ile deflate(gzip) algoritmas\u0131n\u0131 kullanarak veya \u2013compression-codec arg\u00fcman\u0131n\u0131 belirterek verilerimizi s\u0131k\u0131\u015ft\u0131rabiliriz. Apache Hive’a s\u0131k\u0131\u015ft\u0131r\u0131lm\u0131\u015f bir tablo y\u00fckleyebiliriz.<\/li>\n\n\n\n
  7. T\u00fcm \u00f6nemli RDBMS Veritabanlar\u0131 i\u00e7in konnekt\u00f6rler: Sqoop, \u00e7e\u015fitli RDBMS veritabanlar\u0131 i\u00e7in neredeyse t\u00fcm ekosistemi kapsayan konnekt\u00f6rler sa\u011flar.<\/li>\n\n\n\n
  8. Kerberos G\u00fcvenlik Entegrasyonu: Temel olarak Kerberos, g\u00fcvenli olmayan a\u011f \u00fczerinden ileti\u015fim kuran d\u00fc\u011f\u00fcmlerin kimliklerini birbirlerine kan\u0131tlamalar\u0131na izin vermek i\u00e7in ticketlar temelinde \u00e7al\u0131\u015fan bilgisayar a\u011f\u0131 kimlik do\u011frulama protokol\u00fcd\u00fcr. Apache Sqoop, Kerberos kimlik do\u011frulamas\u0131n\u0131 destekler.<\/li>\n\n\n\n
  9. Verileri do\u011frudan HIVE\/HBase’e y\u00fckleyin: Sqoop’u kullanarak, veri analizi i\u00e7in verileri do\u011frudan Hive’a y\u00fckleyebiliriz. Verilerimizi HBase yani NoSQL veritaban\u0131na da dump edebiliriz.<\/li>\n\n\n\n
  10. Accumulo Deste\u011fi: Apache Sqoop’a bir tabloyu HDFS’deki bir dizine almak yerine Accumulo’ya almas\u0131 talimat\u0131n\u0131 verebiliriz.<\/li>\n<\/ol>\n\n\n\n

    Sqoop’un S\u0131n\u0131rlamalar\u0131<\/strong><\/p>\n\n\n\n

      \n
    1. Apache Sqoop’u duraklatamaz ya da devam ettiremeyiz. atomik bir ad\u0131md\u0131r.<\/li>\n\n\n\n
    2. Sqoop Export’un performans\u0131, RDBMS sunucusunun donan\u0131m ya da config yap\u0131land\u0131rmas\u0131na ba\u011fl\u0131d\u0131r.<\/li>\n\n\n\n
    3. Sqoop MapReduce paradigmas\u0131n\u0131 kullan\u0131r.<\/li>\n\n\n\n
    4. \u0130mport ya da export s\u0131ras\u0131ndaki problemler i\u00e7in \u00f6zel i\u015flem gerektirir.<\/li>\n\n\n\n
    5. Her rdbms konnekt\u00f6r\u00fc ayn\u0131 de\u011fildir , baz\u0131 veritabanlar\u0131 i\u00e7in daha bulk i\u015flemler sa\u011flar.<\/li>\n<\/ol>\n\n\n\n

      Sqoop Arg\u00fcmanlar\u0131<\/strong><\/p>\n\n\n\n

      Arg\u00fcman<\/th>A\u00e7\u0131klama<\/th><\/tr><\/thead>
      --append<\/code><\/td>Import edilen veriyi HDFS\u2019deki mevcut veriye ekler<\/td><\/tr>
      --as-avrodatafile<\/code><\/td>Veriyi Avro Data Files olarak import eder<\/td><\/tr>
      --as-sequencefile<\/code><\/td>Veriyi SequenceFiles olarak import eder<\/td><\/tr>
      --as-textfile<\/code><\/td>Veriyi plain text olarak import eder. Varsay\u0131lan format budur.<\/td><\/tr>
      --as-parquetfile<\/code><\/td>Veriyi Parquet Files olarak import eder<\/td><\/tr>
      --boundary-query <statement><\/code><\/td>Sorguya kullan\u0131c\u0131 taraf\u0131ndan konan s\u0131n\u0131rd\u0131r.<\/td><\/tr>
      --columns <col,col,col\u2026><\/code><\/td>Tablonun hangi s\u00fctunlar\u0131n\u0131 se\u00e7ece\u011fimizi bildiririz.<\/td><\/tr>
      --delete-target-dir<\/code><\/td>E\u011fer hedefte b\u00f6yle bir dizin varsa onu siler.<\/td><\/tr>
      --direct<\/code><\/td>Veri taban\u0131 i\u00e7in varsa do\u011frudan ba\u011flant\u0131 kullan\u0131r.<\/td><\/tr>
      --fetch-size <n><\/code><\/td>\u00c7a\u011fr\u0131lacak sat\u0131r say\u0131s\u0131na s\u0131n\u0131r koyulur. 50 sat\u0131r getir gibi.<\/td><\/tr>
      --inline-lob-limit <n><\/code><\/td>Bir sat\u0131rda bulunacak maksimum LOB geni\u015fli\u011fi.<\/td><\/tr>
      -m,--num-mappers <n><\/code><\/td>Ka\u00e7 tane paralel map g\u00f6revinin paralel \u00e7al\u0131\u015faca\u011f\u0131n\u0131 belirten rakamd\u0131r.<\/td><\/tr>
      -e,--query <statement><\/code><\/td>Import the results of statement<\/code><\/em>.<\/td><\/tr>
      --split-by <column-name><\/code><\/td>Tablonun hangi s\u00fctun baz al\u0131narak b\u00f6l\u00fcnece\u011fini belirtir.  --autoreset-to-one-mapper<\/code> ile ayn\u0131 anda kullan\u0131lamaz.<\/td><\/tr>
      --autoreset-to-one-mapper<\/code><\/td>E\u011fer tabloda primary key yok ise ve b\u00f6l\u00fcnecek s\u00fctun da belirtilmemi\u015fse tek bir mapper kullan\u0131l\u0131r.  Ayn\u0131 anda --split-by <col><\/code> se\u00e7ene\u011fi ile kullan\u0131lamaz.<\/td><\/tr>
      --table <table-name><\/code><\/td>Okunmak istenen hedef tablonun ismi<\/td><\/tr>
      --target-dir <dir><\/code><\/td>Hedef HDFS dizini<\/td><\/tr>
      --warehouse-dir <dir><\/code><\/td>HDFS parent for table destination<\/td><\/tr>
      --where <where clause><\/code><\/td>E\u011fer import esnas\u0131nda WHERE  ko\u015fulu kullanmak istiyorsak.<\/td><\/tr>
      -z,--compress<\/code><\/td>S\u0131k\u0131\u015ft\u0131rmay\u0131 a\u00e7mak istiyorsak<\/td><\/tr>
      --compression-codec <c><\/code><\/td>Hadoop codec kullan\u0131m\u0131 (varsay\u0131lan gzip)<\/td><\/tr>
      --null-string <null-string><\/code><\/td>S\u00fctun string ise ve null ise bunun yerine yaz\u0131lacak string. \u00d6rne\u011fin null geldininde \u201cBo\u015f\u201d yaz\u0131lmas\u0131n\u0131 istersek.<\/td><\/tr>
      --null-non-string <null-string><\/code><\/td>S\u00fctun string de\u011fil ise null de\u011ferler i\u00e7in alacak de\u011fer<\/td><\/tr><\/tbody><\/table>
      Sqoop Arg\u00fcmanlar\u0131<\/figcaption><\/figure>\n\n\n\n

      \u00d6rnekler;<\/strong><\/p>\n\n\n\n

      Mysql sunucusundaki personeller veritaban\u0131ndaki tablolar\u0131 listeleyelim.<\/strong><\/p>\n\n\n\n

      sqoop list-tables --connect jdbc:mysql:\/\/MYSQLDBADRESINIZ:3306\/personel --username ayhanarda -P<\/strong>\nEnter password:\n23\/03\/15 19:59:31 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.\ndepartmanlar\ndepartman_calisanlari\ndepartman_yoneticileri\ncalisanlar\nunvanlar\nmaaslar\n\n\u00c7al\u0131\u015fanlar tablosunu HDFS \u00fczerine aktaral\u0131m.<\/strong>\n\nsqoop import --connect jdbc:mysql:\/\/MYSQLDBADRESINIZ<\/strong>:3306\/personel --username ayhanarda -P --table calisanlar\n\nPersonel veritaban\u0131n\u0131 direkt Hive a alal\u0131m.<\/strong>\n\nsqoop import-all-tables --connect jdbc:mysql:\/\/MYSQLDBADRESINIZ<\/strong>:3306\/personel --username ayhanarda -P --direct --hive-import\n\nBu aktar\u0131m i\u015flemini \u2013direct parametresi ile de yapabilirdik.Bu durumda jdbc konnekt\u00f6r\u00fc yerine mysql dump kullan\u0131rd\u0131 ve s\u00fcre de\u011fi\u015firdi.\n\nSqoop ile tablonun tamam\u0131n\u0131 da aktarmak zorunda de\u011filiz, -query parametresi ile sadece verdi\u011fimiz sorgu sonucunun aktar\u0131lmas\u0131n\u0131 sa\u011flayabiliriz. Bunun d\u0131\u015f\u0131nda varsay\u0131lan olarak metin dosyas\u0131 haline aktar\u0131lan verilerin alan ve sat\u0131r ayra\u00e7lar\u0131n\u0131 belirleyebiliriz, metin dosyalar\u0131 d\u0131\u015f\u0131nda Hadoop\u2019un binary format\u0131 olan SequenceFile veya Avro format\u0131nda da veriler aktar\u0131labiliriz.<\/code><\/pre>\n\n\n\n
      Apache Sqoop Kullan\u0131c\u0131 Rehberi<\/a>ne eri\u015fmek i\u00e7in t\u0131klay\u0131n\u0131z.
      Cloudera Sqoop Rehberi<\/a>ne eri\u015fmek i\u00e7in t\u0131klay\u0131n\u0131z.<\/p>\n\n\n\n
      Ayhan ARDA<\/p>\n\n\n\n
      <\/p>\n
      \"Share<\/a>