¼Ò¼ÈÄ«Áö³ë?°ÔÀÓºÐ¾ß Àü¼¼°è?TOPÀÇ À§Ä¡¿¡ ÀÖ´Â?DoubleDown?Casino?¼ºñ½º¸¦ À̲ø¸ç,?2021³â ³ª½º´Ú½ÃÀå¿¡ »óÀåÇÑ ±Û·Î¹ú ȸ»çÀÔ´Ï´Ù.?
±¸¼º¿ø ¸ðµÎ°¡ ±Û·Î¹ú TOPTIERÀÇ ±àÁö¸¦ °¡Áö°í?¼¼°è ÃÖ°í¶ó´Â ¸¶À½°¡ÁüÀ¸·Î °ÔÀÓ Á¦ÀÛÀ» Áñ±â°í ÀÖ½À´Ï´Ù
? ? ? ? ? ? ? ? ? ? ? ? ?µ¥ÀÌÅÍ ¿£Áö´Ï¾î(ETL) ä¿ë (°æ·Â)
¿ì¸®ÀÇ ¾÷¹«´Â ¾Æ·¡¿Í °°½À´Ï´Ù.
1.?DB, ·Î±×, API µ¥ÀÌÅÍ ÀÔ¼ö ÆÄÀÌÇÁ¶óÀÎ °³¹ß ¹× ¿î¿µ
µ¥ÀÌÅÍ ¿£Áö´Ï¾îÀÇ ±Ùº»ÀûÀÎ ¿ªÈ°Àº ¼Ò½ºµ¥ÀÌÅ͸¦ ¿¬°üµÈ µ¥ÀÌÅͼҺñÀÚ(ºÐ¼®°¡, ¸¶ÄÉÆà Á¶Á÷ µî)°¡ ½±°Ô »ç¿ëÇÒ ¼ö ÀÖ°Ô Çϴµ¥ ÀÖ½À´Ï´Ù. À̸¦ À§ÇÑ ´Ù¾çÇÑ µ¥ÀÌÅͼҽº¿¡¼ DW·Î µ¥ÀÌÅ͸¦ À̵¿ÇÏ´Â ÆÄÀÌÇÁ¶óÀο¡ ´ëÇÑ °³¹ß ¹× ¿î¿µÀ» ¼öÇàÇÕ´Ï´Ù.
2.?µ¥ÀÌÅÍ ÀÎÇÁ¶ó ±¸Ãà ¹× ¿î¿µ
½Ã°£ÀÌ È帧¿¡ µû¶ó Á¡Á¡ ´Ã¾î³ª°í º¹ÀâÇÑ ·ÎÁ÷À» ´Ù·ç±â À§ÇÏ¿© Ãß»óÈ ±â¼úÀÌ ¹ßÀüÇÏ°í ÀÖ½À´Ï´Ù. ¿ì¸®´Â ÀÌ·¯ÇÑ Æ®·»µå¿¡ ¸ÂÃç ±âÁ¸ aws ec2¿¡¼ ¿î¿µÇÏ´ø µ¥ÀÌÅÍÀÎÇÁ¶ó¸¦ eks¸¦ ÀÌ¿ëÇÑ ¿î¿µÀ¸·Î ÀüȯÇÏ°í ÀÖ½À´Ï´Ù.
3.?DW ¿î¿µ ¹× ±â¼úÁö¿ø
ÇöÀç µ¥ÀÌÅÍ¿þ¾îÇϿ콺·Î Redshfit¸¦ »ç¿ëÇÏ°í ÀÖ½À´Ï´Ù. ÀÌ¿¡ µû¶ó Redshift ¿î¿µ ¹× ºñÈ¿À²ÀûÀÎ Äõ¸®¿¡ ´ëÇÑ ±â¼úÁö¿øÀ» ¼öÇàÇÏ°í ÀÖ½À´Ï´Ù.
¿ì¸®´Â ¾ÕÀ¸·Î ÀÌ·± ÀÏÀ» ÇÏ°í ½Í½À´Ï´Ù.
1.?µ¥ÀÌÅ͸¦ °ü¸®ÇÏ°í °ËÁõÇϱâ À§ÇÑ µ¥ÀÌÅÍ °Å¹ö³Í½º È®¸³
2.?´Ã¾î³ª´Â µ¥ÀÌÅÍÀÇ Ç°Áú°ü¸® ¹× Ž»öÀ» ºü¸£°Ô Çϱâ À§ÇÑ µð½ºÄ¿¹ö¸® Ç÷§Æû °³¹ß
¿ì¸®´Â ÀÌ·± ±â¼úÀ» ¸ÞÀÎÀ¸·Î »ç¿ëÇÏ°í ÀÖ½À´Ï´Ù.
1.??AWS - eks, s3, redshift
2.?Workflow & monitoring - airflow, grafana
3. framework - dbt, Django, FastAPI, re:dash
?
?
¡á ÀÚ°Ý¿ä°Ç
-?ÇØ´ç °æ·Â 3³âÂ÷ ÀÌ»ó ¶Ç´Â ÀÌ¿¡ »óÀÀÇÏ´Â ¾÷¹« ´É·Â º¸À¯
- µ¥ÀÌÅͺ£À̽º Áö½Ä ¹× Åë°è ÀÛ¼º SQL °¡´É
- Data Pipeline ±¸Ãà ¶Ç´Â ¿î¿µ °æÇè
- Airflow¿Í °°Àº Workflow Tool ¿î¿µ °æÇèÀÚ
- Django, FastAPI¿Í °°Àº Python ±â¹ÝÀÇ À¥ ÇÁ·¹ÀÓ¿öÅ© °³¹ß °æÇèÀÚ
?
¡á?¿ì´ë»çÇ×
- ÄÁÅ×ÀÌ³Ê È¯°æ¿¡¼ÀÇ µ¥ÀÌÅÍ ¿£Áö´Ï¾î¸µ ¾÷¹«¿¡ Àͼ÷ÇϽŠºÐ
- AWS, kubernetes ¹× Ŭ¶ó¿ìµå ¼ºñ½º ±â¹Ý ÀÎÇÁ¶ó ±¸Ãà ¹× ¿î¿µ °æÇèÀÚ
- Re:Dash, Superset°ú °°Àº ¿ÀǼҽº ±â¹ÝÀÇ BIµµ±¸ »ç¿ë °æÇèÀÚ
- ´ë¿ë·® µ¥ÀÌÅÍ Ã³¸®¿¡ ´ëÇÑ Ç³ºÎÇÑ °æÇèÀÚ
- ÇØ¿Ü¿¡ ¼ºñ½ºµÇ´Â °ÔÀÓÀ¸·Î ¿Ü±¹ ¹®È ¹× ¾ð¾î¿¡ °ü½ÉÀÖÀ¸½Å ºÐ
?
¡á?°³¹ßº»ºÎ
'°³¹ß'º»ºÎ´Â ¼Ò¼È Ä«Áö³ë ºÐ¾ß ¼¼°è ÃÖ°íÀÎ DoubleDown Casino¸¦ °³¹ß/¿î¿µ?ÇÕ´Ï´Ù.
¼Ò¼ÈÄ«Áö³ëÀÇ ¸ÞŸ¿µ¿ª°ú? ½½·Ô Ç÷¹À̸¦ ´õ Àç¹Õ°Ô ¸¸µé¾îÁÖ´Â ¿¬µ¿ÇÇÃĸ¦ °³¹ßÇϸç,?Åë°è µ¥ÀÌÅ͸¦ ÅëÇÑ ºñÁö´Ï½º ÀÎÅÚ¸®Àü½º ±¸Ãà,? AWS Ŭ¶ó¿ìµå ÀÎÇÁ¶ó ¿î¿µÀ» ÅëÇØ À¯ÀúµéÀÌ Àç¹Õ°í ¾ÈÁ¤ÀûÀ¸·Î °ÔÀÓ Ç÷¹À̸¦ ÇÒ ¼ö ÀÖµµ·Ï ¼ºñ½º Àü¹ÝÀ» °ü¸®ÇÕ´Ï´Ù.
¸ðÁý ¿µ¿ªÀº ¼¹ö, À¥/¾Û Ŭ¶óÀ̾ðÆ®, ÀÎÇÁ¶ó DevOps, BI, QA ¿µ¿ªÀ̸ç, »õ·Î¿î ±â¼ú µµÀÔÀ» ÅëÇØ ½ÃÀå¿¡¼ ±â¼ú·ÂÀ» ¼±µµÇÒ ¼ö ÀÖµµ·Ï µµÀüÀ» °è¼Ó ÇÏ°í ÀÖ½À´Ï´Ù.
¡á BIÆÀ
BIÆÀÀº ´õºí´Ù¿îÄ«Áö³ëÀÇ ´Ù¾çÇÑ?µ¥ÀÌÅÍ ÆÄÀÌÇÁ¶óÀÎÀ» °³¹ß ¹× ¿î¿µÀ» ´ã´çÇÏ°í ÀÖ½À´Ï´Ù.?
°ÔÀÓ ÀÚüÀÇ ·Î±× µ¥ÀÌÅÍ »Ó¸¸ ¾Æ´Ï¶ó, ¿ÜºÎ ¸¶ÄÉÆà µ¥ÀÌÅÍ¿Í °°ÀÌ ¿©·¯ °÷¿¡ Èð¾îÁø µ¥ÀÌÅ͸¦ Redshfit·Î ¿Å±é´Ï´Ù.?
ÀÌ·¯ÇÑ ÀÛ¾÷Àº Airflow¸¦ ±â¹ÝÀ¸·Î ¼öÇàÇÏ°í ÀÖÀ¸¸ç, ±× ¿Ü Django, FastAPI¿Í °°Àº ÆÄÀ̽㠱â¹ÝÀÇ ´Ù¾çÇÑ ÇÁ·¹ÀÓ¿öÅ©µµ »ç¿ëÇÏ°í ÀÖ½À´Ï´Ù.?
Áö±Ýº¸´Ù º¸´Ù ÁÁÀº ÆÄÀÌÇÁ¶óÀÎÀ» ¸¸µé°í µ¥ÀÌÅÍ ¼ºùÀ» Çϱâ À§ÇÏ¿© ²ÙÁØÈ÷ »õ·Î¿î ±â¼ú¿¡ ´ëÇؼµµ Å×½ºÆ® ¹× ÇнÀÀ» ÇÏ°í ÀÖ½À´Ï´Ù.
?
|