/docs/MyDocs

Toolset

=======

 - Apache Yarn: Resource manager. Part of Hadoop. Optionally can be used by Apache Spark as well.

 - Kafka: Distributed messenger

 - Storm: UFO for clusters. Works on tuples proceessed by acycling graph of filters which define spout (input) 

 and bolts (processing + output).  It offers a strong guarantee that every tuple will be processed. Storm 

 defaults to an “at least once” guarantee for messages, but offers the ability to implement “exactly once” 

 processing as well. The filters can be written in any language.

 - Spark: Generalized solution which can be configured for Hadoop and Storm workloads. Runs on top of the Apache

 Yarn or Mesos. Provides adapters for working data stored in numerous disparate sources, including HDFS files, 

 Cassandra, HBase, and S3. Architecture is centered around RRD (Resilient Distributed Dataset) - a read-only 

 multiset of data items distributed over a cluster of machines. In contrast to Hadoop/MapReduce can use kind

 of shared memory to store/read results effectively significantly speeding up various iterative workloads 

 accessing the data multiple times. Supports Java, Scala, Python, and R only. The simple app would look like:

  1. read file

  2. Split each file into a list of tokens

  3. Execute map/reduce operations on tokens, execute other operations

 - Ignite: Advanced in-memory database with map-reduce, sql, etc...

 - Hama: Iterative computations.

 - Beam: Google Cloud dataflow model which cna be executed later on Google Cloud or with Spark

 - Zeppelin: Online notebooks like Jupiter

 

 Databases

 =========

  Types: Key-value database (Redis), document database (MongoDb/RethinkDB), column data model (Cassandra), graph data model, sql data model, sql-style on top of nosql (Hive)