ELK Stack Mülakat Soruları

Cevap: Elasticsearch, Apache Lucene tabanlı, dağıtık bir arama ve analiz motorudur.

• Tam metin arama, yapılandırılmış arama ve analiz yetenekleri sunar.
• Gerçek zamanlı veri işleme ve hızlı arama performansı sağlar.
• RESTful arayüzü ile kolay kullanım imkanı sunar.
• Yatay olarak ölçeklenebilir mimariye sahiptir.

Elasticsearch Başlatma Komutu:

./bin/elasticsearch

Cevap:

• Index: Benzer özelliklere sahip document'lerin koleksiyonudur. İlişkisel veritabanlarındaki tabloya benzer.
• Type (Eski Versiyonlar): Index içindeki document'leri kategorize etmek için kullanılır. Elasticsearch 7.0'dan sonra kaldırılmıştır.
• Document: Index'te depolanan temel veri birimidir. JSON formatında olur ve ilişkisel veritabanlarındaki satıra benzer.

Index Oluşturma Komutu:

PUT /my-index
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  }
}

Cevap:

• Shard: Bir index'in parçalarıdır. Her shard, index verisinin bir alt kümesini içerir ve Elasticsearch kümesindeki farklı node'larda dağıtılabilir.
• Replica: Bir shard'ın kopyasıdır. Veri kaybını önlemek ve okuma performansını artırmak için kullanılır.

Farklar:

• Shard'lar veriyi böler, replikalar veriyi kopyalar.
• Shard'lar yazma ve okuma işlemlerini paralel hale getirir, replikalar sadece okuma işlemlerini paralel hale getirir.
• Her index için shard sayısı oluşturulduğunda belirlenir ve sonradan değiştirilemez, replika sayısı ise dinamik olarak değiştirilebilir.

Shard ve Replica Ayarları:

PUT /my-index/_settings
{
  "index" : {
    "number_of_replicas" : 2
  }
}

Cevap: Mapping, bir index içindeki alanların (fields) ve veri tiplerinin tanımlanmasıdır.

• Alanların veri tiplerini (string, integer, date, vb.) belirler.
• Arama ve analiz davranışını kontrol eder.
• Dinamik mapping (otomatik) veya statik mapping (manuel) olarak oluşturulabilir.

Mapping Oluşturma Komutu:

PUT /my-index
{
  "mappings": {
    "properties": {
      "title": { "type": "text" },
      "price": { "type": "float" },
      "created_at": { "type": "date" }
    }
  }
}

Cevap: Analyzer, metin alanlarını işlemek için kullanılan bir bileşenler dizisidir.

• Character Filter: Metindeki karakterleri değiştirir (HTML etiketlerini kaldırma gibi).
• Tokenizer: Metni kelimelere böler (boşluk, noktalama işaretleri gibi).
• Token Filter: Token'ları işler (küçük harfe çevirme, stemleme, stop words kaldırma gibi).

Örnek Analyzer'lar:

• Standard Analyzer: Varsayılan analyzer, boşluk ve noktalama işaretlerine göre böler.
• Simple Analyzer: Sadece alfabetik olmayan karakterlere göre böler ve küçük harfe çevirir.
• Whitespace Analyzer: Sadece boşluklara göre böler.
• Keyword Analyzer: Metni hiçbir işlem yapmadan olduğu gibi bırakır.

Özel Analyzer Oluşturma:

PUT /my-index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_stemmer"
          ]
        }
      },
      "filter": {
        "my_stemmer": {
          "type": "stemmer",
          "name": "english"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}

Cevap:

• Query Context: Dokümanların sorguya ne kadar uygun olduğunu skorlamak için kullanılır. _score alanını hesaplar.
• Filter Context: Dokümanların sorguya uygun olup olmadığını kontrol etmek için kullanılır. Skor hesaplamaz ve sonuçları önbelleğe alır.

Farklar:

• Query skoru hesaplar, filter hesaplamaz.
• Filter sonuçları önbelleğe alır, query almaz.
• Filter daha hızlı çalışır.

Query Örneği:

GET /my-index/_search
{
  "query": {
    "match": {
      "title": "elasticsearch"
    }
  }
}

Filter Örneği:

GET /my-index/_search
{
  "query": {
    "bool": {
      "filter": {
        "term": {
          "status": "published"
        }
      }
    }
  }
}

Cevap:

• Term Query: Tam eşleşme araması yapar. Analiz edilmez, tam olarak aranan terimi arar.
• Match Query: Tam metin araması yapar. Analiz edilir ve eşleşen terimleri arar.

Farklar:

• Term query analiz edilmez, match query analiz edilir.
• Term query tam eşleşme arar, match query kısmi eşleşme arar.
• Term query keyword alanlar için daha uygundur, match query text alanlar için.

Term Query Örneği:

GET /my-index/_search
{
  "query": {
    "term": {
      "status.keyword": "published"
    }
  }
}

Match Query Örneği:

GET /my-index/_search
{
  "query": {
    "match": {
      "title": "elasticsearch tutorial"
    }
  }
}

Cevap: Bool Query, birden fazla sorguyu birleştirmek için kullanılan bir bileşik sorgudur.

• must: Tüm sorguların eşleşmesi gerekir (AND operatörü).
• should: Sorgulardan en az birinin eşleşmesi gerekir (OR operatörü).
• must_not: Sorguların hiçbirinin eşleşmemesi gerekir (NOT operatörü).
• filter: Filtreleme için kullanılır, skor hesaplamaz.

Bool Query Örneği:

GET /my-index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "elasticsearch" } },
        { "match": { "content": "tutorial" } }
      ],
      "should": [
        { "match": { "tags": "search" } },
        { "match": { "tags": "database" } }
      ],
      "must_not": [
        { "match": { "status": "draft" } }
      ],
      "filter": [
        { "term": { "category": "technology" } }
      ]
    }
  }
}

Cevap: Aggregation, veri üzerinde istatistiksel analizler ve gruplamalar yapmak için kullanılan bir özelliktir.

• Metric Aggregations: Sayısal değerler üzerinde hesaplamalar yapar (sum, avg, min, max, stats, cardinality vb.).
• Bucket Aggregations: Veriyi gruplara böler (terms, range, date_range, histogram vb.).
• Pipeline Aggregations: Diğer aggregation'ların sonuçları üzerinde işlem yapır (derivative, moving_avg, bucket_script vb.).

Metric Aggregation Örneği:

GET /my-index/_search
{
  "size": 0,
  "aggs": {
    "avg_price": {
      "avg": { "field": "price" }
    },
    "stats_price": {
      "stats": { "field": "price" }
    }
  }
}

Bucket Aggregation Örneği:

GET /my-index/_search
{
  "size": 0,
  "aggs": {
    "category_terms": {
      "terms": { "field": "category.keyword" },
      "aggs": {
        "avg_price": {
          "avg": { "field": "price" }
        }
      }
    }
  }
}

Cevap: Inverted Index, Elasticsearch'in temel arama mekanizmasıdır.

• Her terim için, o terimi içeren tüm document'lerin listesini içerir.
• Arama yaparken, aranan terim inverted index'te bulunur ve ilgili document'lar döndürülür.
• Hızlı arama performansı sağlar.

Çalışma Prensibi:

1. Document'ler index'e eklendiğinde, her alan analyzer ile analiz edilir.
2. Analiz sonucunda elde edilen terimler inverted index'e eklenir.
3. Her terim için, o terimi içeren document ID'leri ve pozisyon bilgileri saklanır.
4. Arama yapıldığında, aranan terim inverted index'te bulunur ve ilgili document'lar döndürülür.

Inverted Index Yapısı:

Terim: "elasticsearch"
Document'ler: [1, 3, 5, 8]

Terim: "tutorial"
Document'ler: [2, 3, 7]

Terim: "search"
Document'ler: [1, 4, 6, 8]

Cevap:

• Cluster: Bir veya daha fazla node'un bir araya gelmesiyle oluşan yapıdır. Veri ve yük dağıtımını sağlar.
• Node: Cluster içindeki tek bir sunucudur. Veri depolar ve indeksleme ve arama işlemlerini gerçekleştirir.
• Shard: Bir index'in parçalarıdır. Cluster içindeki node'lara dağıtılır.

İlişki:

• Bir cluster birden fazla node içerir.
• Her node birden fazla shard barındırabilir.
• Her shard, bir index'in verisinin bir kısmını içerir.
• Shard'lar cluster içindeki node'lara dağıtılır ve bu da yük dengelemesini sağlar.

Cluster Bilgilerini Görme:

GET /_cluster/health
GET /_cluster/stats
GET /_nodes/stats

Cevap: Reindexing, bir index'teki verileri yeni bir index'e kopyalama işlemidir.

• Mapping değişiklikleri yaparken (alan tipi değiştirme, yeni alan ekleme vb.).
• Analyzer değişiklikleri yaparken.
• Index ayarlarını değiştirirken (shard sayısı, replica sayısı vb.).
• Veri yapısını yeniden düzenlerken.

Reindexing Komutu:

POST /_reindex
{
  "source": {
    "index": "old-index"
  },
  "dest": {
    "index": "new-index"
  }
}

Sorgu ile Reindexing:

POST /_reindex
{
  "source": {
    "index": "old-index",
    "query": {
      "term": {
        "status": "published"
      }
    }
  },
  "dest": {
    "index": "new-index"
  }
}

Cevap: Scroll API, büyük sonuç setlerini sayfalara bölmek için kullanılır.

• Geleneksel sayfalama (from/size) yerine kullanılır.
• Büyük veri setleri için daha performanslıdır.
• Sunucu tarafında arama bağlamını korur.

Scroll API Kullanımı:

POST /my-index/_search?scroll=1m
{
  "size": 1000,
  "query": {
    "match_all": {}
  }
}

Sonraki Sayfaları Getirme:

POST /_search/scroll
{
  "scroll": "1m",
  "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAAIWYnJ0LV9hZmZsU0hXN2d5U1R0d0FwQQ=="
}

Scroll'u Temizleme:

DELETE /_search/scroll
{
  "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAAAIWYnJ0LV9hZmZsU0hXN2d5U1R0d0FwQQ=="
}

Cevap: Update by Query, bir sorguya uyan tüm document'ları güncellemek için kullanılır.

• Birden fazla document'ı aynı anda güncellemek için kullanılır.
• Sadece belirli alanları güncellemek için kullanılır.
• Script ile karmaşık güncelleme işlemleri yapılabilir.

Update by Query Kullanımı:

POST /my-index/_update_by_query
{
  "script": {
    "source": "ctx._source.status = 'published'",
    "lang": "painless"
  },
  "query": {
    "term": {
      "status": "draft"
    }
  }
}

Değer Artırma:

POST /my-index/_update_by_query
{
  "script": {
    "source": "ctx._source.price += params.amount",
    "lang": "painless",
    "params": {
      "amount": 10
    }
  },
  "query": {
    "range": {
      "price": {
        "lt": 100
      }
    }
  }
}

Cevap: Delete by Query, bir sorguya uyan tüm document'ları silmek için kullanılır.

• Birden fazla document'ı aynı anda silmek için kullanılır.
• Karmaşık silme işlemleri için kullanılır.

Delete by Query Kullanımı:

POST /my-index/_delete_by_query
{
  "query": {
    "term": {
      "status": "draft"
    }
  }
}

Tarih Aralığına Göre Silme:

POST /my-index/_delete_by_query
{
  "query": {
    "range": {
      "created_at": {
        "lt": "2020-01-01"
      }
    }
  }
}

Cevap:

• Nested Data Type: Bir document içindeki nesneleri ayrı document'lar olarak depolar.
• Parent-Child Relationship: Farklı document'lar arasındaki ilişkiyi tanımlar.

Farklar:

• Nested, aynı document içindeki nesneler arasındaki ilişkidir.
• Parent-Child, farklı document'lar arasındaki ilişkidir.
• Nested, veriyi birlikte güncellemeyi gerektirir.
• Parent-Child, veriyi ayrı ayrı güncellemeye izin verir.

Nested Mapping Örneği:

PUT /my-index
{
  "mappings": {
    "properties": {
      "name": { "type": "text" },
      "comments": {
        "type": "nested",
        "properties": {
          "author": { "type": "text" },
          "content": { "type": "text" }
        }
      }
    }
  }
}

Parent-Child Mapping Örneği:

PUT /my-index
{
  "mappings": {
    "properties": {
      "join": {
        "type": "join",
        "relations": {
          "question": "answer"
        }
      }
    }
  }
}

Cevap: Suggester, kullanıcıya otomatik tamamlama veya öneri sunmak için kullanılan bir özelliktir.

• Term Suggester: Yazım hatalarını düzeltmek için öneriler sunar.
• Phrase Suggester: Cümlelerdeki hataları düzeltmek için öneriler sunar.
• Completion Suggester: Otomatik tamamlama için öneriler sunar.
• Context Suggester: Bağlama göre öneriler sunar.

Completion Suggester Örneği:

PUT /my-index
{
  "mappings": {
    "properties": {
      "title_suggest": {
        "type": "completion"
      }
    }
  }
}

Suggester Kullanımı:

POST /my-index/_search
{
  "suggest": {
    "my-suggestion": {
      "text": "el",
      "completion": {
        "field": "title_suggest"
      }
    }
  }
}

Cevap: Percolate Query, sorguları index'leyen ve document'ları bu sorgularla eşleştiren ters bir arama mekanizmasıdır.

• Document'ları sorgularla eşleştirir.
• Gerçek zamanlı uyarı ve bildirim sistemleri için kullanılır.
• İçerik filtreleme ve kategorizasyon için kullanılır.

Percolate Query Örneği:

PUT /queries
{
  "mappings": {
    "properties": {
      "query": {
        "type": "percolator"
      },
      "category": {
        "type": "keyword"
      }
    }
  }
}

Sorgu Ekleme:

PUT /queries/_doc/1
{
  "query": {
    "match": {
      "message": "elasticsearch"
    }
  },
  "category": "technology"
}

Percolate Arama:

GET /queries/_search
{
  "query": {
    "percolate": {
      "field": "query",
      "document": {
        "message": "elasticsearch tutorial"
      }
    }
  }
}

Cevap: Snapshot, bir veya daha fazla index'in anlık görüntüsünü almak için kullanılır. Restore ise bu anlık görüntüden geri yükleme işlemidir.

• Veri yedekleme ve kurtarma için kullanılır.
• Index'leri farklı cluster'lara taşımak için kullanılır.
• Test ve geliştirme ortamları için veri kopyalamak için kullanılır.

Snapshot Repository Oluşturma:

PUT /_snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "location": "/mnt/backups"
  }
}

Snapshot Alma:

PUT /_snapshot/my_backup/snapshot_1?wait_for_completion=true
{
  "indices": "index_1,index_2"
}

Restore Etme:

POST /_snapshot/my_backup/snapshot_1/_restore
{
  "indices": "index_1,index_2",
  "ignore_unavailable": true,
  "include_global_state": false
}

Cevap: Template, yeni index'ler için varsayılan ayarları ve mapping'leri tanımlamak için kullanılır.

• Index oluşturulduğunda otomatik olarak uygulanır.
• İsim deseni (pattern) ile eşleşen index'ler için geçerlidir.
• Standartlaşmış yapılar oluşturmak için kullanılır.

Template Oluşturma:

PUT /_index_template/my_template
{
  "index_patterns": ["te*"],
  "template": {
    "settings": {
      "number_of_shards": 1,
      "number_of_replicas": 1
    },
    "mappings": {
      "properties": {
        "title": { "type": "text" },
        "timestamp": { "type": "date" }
      }
    }
  }
}

Cevap: Elasticsearch performansını optimize etmek için:

• Doğru Shard Sayısı: Her shard için 10-50 GB veri olmalıdır.
• Hardware Optimizasyonu: Yeterli RAM, SSD disk ve hızlı CPU.
• Index Ayarları: Refresh interval, translog ayarları.
• Mapping Optimizasyonu: Doğru alan tipleri, analyzer seçimi.
• Sorgu Optimizasyonu: Filter kullanımı, caching.
• Cluster Yapılandırması: Node rolleri, replica ayarları.

Performans Ayarları:

PUT /my-index/_settings
{
  "index": {
    "refresh_interval": "30s",
    "number_of_replicas": 1
  }
}

Cevap: Hot-Warm mimarisi, verinin yaşına göre farklı özelliklere sahip node'larda depolanmasıdır.

• Hot Node'lar: Yeni ve sık erişilen veriler için. Yüksek performanslı SSD diskler ve daha fazla RAM.
• Warm Node'lar: Daha az erişilen eski veriler için. Daha düşük maliyetli HDD diskler.

Avantajları:

• Maliyet optimizasyonu.
• Performans optimizasyonu.
• Veri yaşam döngüsü yönetimi.

Hot-Warm Yapılandırması:

# elasticsearch.yml
node.attr.box_type: hot # veya warm

# Index lifecycle policy
PUT /_ilm/policy/my_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50GB",
            "max_age": "30d"
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          }
        }
      }
    }
  }
}

Cevap: ILM, index'lerin yaşam döngüsünü otomatik olarak yönetmek için kullanılan bir özelliktir.

• Hot Phase: Index aktif olarak kullanılır, sık okuma/yazma işlemleri.
• Warm Phase: Index daha az erişilir, read-only olabilir.
• Cold Phase: Index çok nadir erişilir, daha ucuz depolama.
• Delete Phase: Index silinir.

ILM Policy Oluşturma:

PUT /_ilm/policy/my_policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_size": "50GB",
            "max_age": "30d"
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "freeze": {}
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

Cevap:

• Field Data: Aggregation, sorting ve scripting işlemleri için kullanılan veri yapısı.
• Doc Values: Disk tabanlı veri yapısı, field data'nın modern versiyonu.

Farklar:

• Field data bellekte tutulur, doc values diskte.
• Doc values daha az bellek kullanır.
• Doc values daha hızlı yükleme süreleri sağlar.

Doc Values Ayarlama:

PUT /my-index
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "doc_values": true
      }
    }
  }
}

Cevap: Elasticsearch'te çeşitli cache mekanizmaları vardır:

• Query Cache: Sorgu sonuçlarını önbelleğe alır.
• Request Cache: Shard seviyesinde sorgu sonuçlarını önbelleğe alır.
• Field Data Cache: Alan verilerini önbelleğe alır.
• Index Cache: Index dosyalarını önbelleğe alır.

Optimizasyon:

• Doğru cache boyutlarını ayarlamak.
• Filter sorguları kullanmak.
• Doc values kullanmak.

Cache Ayarları:

# elasticsearch.yml
indices.queries.cache.size: 10%
indices.requests.cache.size: 1%
indices.fielddata.cache.size: 20%

Cevap:

• Refresh: Bellekteki document'leri searchable hale getirir. Index'e yazılmaz.
• Flush: Bellekteki segment'leri diske yazar ve translog'u temizler.

Farklar:

• Refresh sıklıdır (varsayılan 1 saniye), flush daha az sıklıkta olur.
• Refresh veriyi arama yapılabilir hale getirir, flush veriyi kalıcı hale getirir.
• Refresh performansı etkiler, flush veri güvenliğini sağlar.

Refresh Interval Ayarlama:

PUT /my-index/_settings
{
  "index": {
    "refresh_interval": "30s"
  }
}

Manuel Refresh:

POST /my-index/_refresh

Cevap: Translog, document'ların diske yazılmadan önce geçici olarak saklandığı bir log dosyasıdır.

• Veri kaybını önlemek için kullanılır.
• Node çöktüğünde, translog'daki veriler kurtarılır.
• Flush işlemi sırasında translog temizlenir.

Translog Ayarları:

PUT /my-index/_settings
{
  "index": {
    "translog.sync_interval": "5s",
    "translog.durability": "async"
  }
}

Cevap: Segment birleştirme, küçük segment'leri daha büyük segment'ler haline getirme işlemidir.

• Arama performansını artırır.
• Disk alanını optimize eder.
• Açık segment sayısını azaltır.

Manuel Merge:

POST /my-index/_forcemerge?max_num_segments=1

Merge Ayarları:

# elasticsearch.yml
indices.merge.scheduler.max_thread_count: 4
indices.merge.policy.max_merge_at_once: 10

Cevap: Shard Allocation, shard'ların cluster içindeki node'lara nasıl dağıtılacağını belirler.

• Balanced Allocation: Shard'lar eşit olarak dağıtılır.
• Awareness Attributes: Shard'ları belirli özelliklere göre dağıtır.

Shard Allocation Ayarları:

PUT /_cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.awareness.attributes": "zone"
  }
}

Shard'ları Taşıma:

POST /_cluster/reroute
{
  "commands": [
    {
      "move": {
        "index": "my-index",
        "shard": 0,
        "from_node": "node1",
        "to_node": "node2"
      }
    }
  ]
}

Cevap: Elasticsearch cluster health durumları:

• Green (Yeşil): Tüm primary ve replica shard'lar atanmıştır. Cluster tamamen çalışır durumdadır.
• Yellow (Sarı): Tüm primary shard'lar atanmıştır, ancak bazı replica shard'lar atanmamıştır. Cluster çalışır ancak veri kaybı riski vardır.
• Red (Kırmızı): Bazı primary shard'lar atanmamıştır. Cluster kısmen çalışır durumdadır, bazı veriler erişilemez.

Cluster Health Kontrolü:

GET /_cluster/health

Detaylı Cluster Bilgisi:

GET /_cluster/health?pretty
GET /_cluster/health?level=shards