°í°´ÀÌ ¿øÇÏ´Â °¡Àå È¿À²ÀûÀÌ°í ÃÖÀûÈµÈ ¼Ö·ç¼Ç Á¦°ø
ºòÄõ¸®, ºòµ¥ÀÌÅÍ ÀúÀå ¹× ºÐ¼® Ç÷§Æû È°¿ë
ºòÄõ¸® Ç÷§ÆûÀÇ Æ¯Â¡
NoOps, ¼³Ä¡/¿î¿µÀÌ ÇÊ¿ä ¾ø½À´Ï´Ù.
¾îµð¿¡ ¼³Ä¡Çؼ »ç¿ëÇÏ´Â ¼ºñ½º°¡ ¾Æ´Ï¶ó Ŭ¶ó¿ìµå ¼ºñ½º·Î Á¦°øµÇ´Â ºòµ¥ÀÌÅÍ ÀúÀå ºÐ¼® ¼ºñ½º ÀÔ´Ï´Ù. Ŭ¸¯ ¸î ¹øÀ¸·Î »ç¿ëÇÒ ¼ö ÀÖ°í, º°µµÀÇ ¼³Á¤À̳ª ¿î¿µÀÌ ÇÊ¿ä ¾ø½À´Ï´Ù.
SQL ¾ð¾î »ç¿ë
RDBMS¿¡¼ »ç¿ëÇÏ´Â SQLÀ» ±×´ë·Î Áö¿øÇϱ⠶§¹®¿¡ »ç¿ëÇÏ±â ¸Å¿ì ½±½À´Ï´Ù. Ŭ¶ó¿ìµå ±Ô¸ðÀÇ ÀÎÇÁ¶ó¸¦ ÅëÇÑ ´ë¿ë·® Áö¿ø°ú ºü¸¥ ¼º´ÉÀ» º¸ÀåÇÕ´Ï´Ù.
¹èÄ¡¿Í ½ºÆ®¸®¹Ö ¸ðµÎ Áö¿ø
ÇѲ¨¹ø¿¡ µ¥ÀÌÅ͸¦ ·ÎµùÇÏ´Â ÀÏ°ý ÀÛ¾÷ batch ¿Ü¿¡µµ REST API µîÀ» ÅëÇؼ ½Ç½Ã°£À¸·Î µ¥ÀÌÅ͸¦ ÀÔ·ÂÇÒ ¼ö ÀÖ´Â ½ºÆ®¸®¹Ö ±â´ÉÀ» Á¦°øÇÕ´Ï´Ù. ½ºÆ®¸®¹Ö ½Ã¿¡´Â µ¥ÀÌÅ͸¦ ÃÊ´ç 100,000Çà(row)¾¿ ÀÔ·ÂÇÒ ¼ö ÀÖ½À´Ï´Ù.
ºòÄõ¸® Ç÷§ÆûÀÇ Â÷º°Á¡
½±½À´Ï´Ù.
ÇϵÓÀ̳ª ½ºÆÄÅ©·Î ºÐ¼®ÇÒ ¶§´Â ¸Ê¸®µà½º ·ÎÁ÷À» »ç¿ëÇϰųª Spark SQLÀ» »ç¿ë Çϴµ¥, ÀÌ ¹æ½ÄÀº ÀÏÁ¤ ¼öÁØ ÀÌ»óÀÇ Àü¹®¼ºÀÌ ÇÊ¿äÇÕ´Ï´Ù. ƯÈ÷ ¸Ê¸®µà½º ·ÎÁ÷ÀÇ °æ¿ì Àü¹®¼º ÀÖ´Â °³¹ßÀÚ°¡ ºÐ¼® ·ÎÁ÷À» °³¹ßÇØ¾ß Çϱ⠶§¹®¿¡ ½Ã°£ÀÌ »ó´ëÀûÀ¸·Î ¿À·¡ °É¸³´Ï´Ù. ¹Ý¸é, ºòÄõ¸®´Â ·Î±×ÀÎÇÏ°í SQL¸¸ ¼öÇàÇÏ¸é µÇ´Ï »ó´ëÀûÀ¸·Î ºòµ¥ÀÌÅÍ ºÐ¼®ÀÌ ½±½À´Ï´Ù.
¿î¿µÀÌ ÇÊ¿ä ¾ø½À´Ï´Ù.
ÇϵÓÀ̳ª ½ºÆÄÅ©¿Í °°Àº ºòµ¥ÀÌÅÍ ¼Ö·ç¼ÇÀº ¼³Ä¡¿Í ¼³Á¤, ±×¸®°í Ŭ·¯½ºÅ͸¦ À¯Áöº¸¼öÇϱⰡ º¸Åë ÀÏÀÌ ¾Æ´Õ´Ï´Ù. ±×·¡¼ º°µµÀÇ ¿î¿µ Á¶Á÷ÀÌ ÇÊ¿äÇÏ°í ¿©±â¿¡ ¸¹Àº ÀÚ¿øÀÌ ¼Ò¸ðµË´Ï´Ù. ÇÏÁö¸¸ ºòÄõ¸®´Â Ŭ¶ó¿ìµå ¼ºñ½º±â ¶§¹®¿¡ ÀÌ·¯ÇÑ ÀϵéÀº ÀØ°í °³¹ß°ú ºÐ¼®¿¡¸¸ ÁýÁßÇÏ¸é µË´Ï´Ù.
ÀÎÇÁ¶ó ÅõÀÚ ¾øÀÌ ¸·°ÇÑ ÄÄÇ»Æà ÀÚ¿øÀ» È°¿ëÇÒ ¼ö ÀÖ½À´Ï´Ù.
ºòÄõ¸®¸¦ ÀÌ¿ëÇÏ¸é ¼öõ °³ÀÇ CPU¿Í ¼ö¹é/¼öõ °³ÀÇ ÄÄÇ»Æà ÀÚ¿øÀ» »ç¿ëÇÒ ¼ö ÀÖ½À´Ï´Ù. ¹°·Ð ±âÁ¸ ºòµ¥ÀÌÅÍ Ç÷§Æûµµ Ŭ¶ó¿ìµå ȯ°æ¿¡ ¿Ã¸®¸é °¡´ÉÇÑ ÀÏÀÌÁö¸¸, ±× ¼³Á¤ ³ë·Â°ú ºñ¿ë Ãø¸é¿¡¼ Â÷ÀÌ°¡ Ŭ ¼ö ¹Û¿¡ ¾ø½À´Ï´Ù.