´óÊý¾Ý¹¤³Ìʦ¶¼Ñ§Ê²Ã´×¨ÒµºÍ¿Î³Ì£¿´óÊý¾Ý¹¤³ÌʦÖ÷Òª¹¤×÷ÓÐÄÄЩ£¿ÐÅÏ¢»¯Ê±´ú£¬ÕƳʹ±Óм¼Ð£ÎÕ´óÊý¾Ý¼¼ÊõÄÜÈÃÄã¸ü¿ìµÄÁ˽âÈËÃǵÄÐèÇ󣬴Ӷø¶¨ÖÆÏàÓ¦µÄ¼Æ»®£¬¿ªÍØ×Ô¼ºµÄÊг¡¡£Ðí¶àÈË¿ÉÄܶ¼»áÕâÑùµÄÒɻ󣺴óÊý¾ÝÄÜѧʲôרҵÖйúºÃµÄ¼¼Ð£ÔÚÄÇÀïºÍ¿Î³Ì£¿ÐèÒªÕÆÎÕÄÄЩ¼¼ÄÜ£¿Î´À´´óÊý¾Ý¹¤³Ìʦ¹¤×÷ǰ¾°¿Ú±®ÔõôÑù£¿±ð׿±£¬Ð¡±à½ñÌì¾ÍÊÇΪÁ˽â´ð´ó¼ÒÐÄÖеÄÒÉ»ó¶øÀ´£¡ÏÂÃæ¾ÍÒ»Ò»À´½éÉÜһϰɣ¡
´óÊý¾Ý¹¤³Ìʦ±Ø±¸¼¼ÄÜ
PythonÓïÑÔ£º±àдһЩ½Å±¾Ê±»áÓõ½¡£
ScalaÓïÑÔ£º±àдSpark³ÌÐòµÄ¼ÑÓïÑÔ£¬µ±È»Ò²¿ÉÒÔÑ¡ÔñÓÃPython¡£
Ozzie£¬azkaban£º¶¨Ê±ÈÎÎñµ÷¶ÈµÄ¹¤¾ß¡£
Hue£¬Zepplin£ºÍ¼Ðλ¯ÈÎÎñÖ´ÐйÜÀí£¬½á¹û²é¿´¹¤¾ß¡£
Allluxio£¬KylinµÈ£ºÍ¨¹ý¶Ô´æ´¢µÄÊý¾Ý½øÐÐÔ¤´¦Àí£¬¼Ó¿ìÔËËãËٶȵŤ¾ß¡£
ÆäËû¹¤¾ß£ºJava¸ß¼¶(ÐéÄâ»ú¡¢²¢·¢)¡¢Linux »ù±¾²Ù×÷¡¢Hadoop£¨HDFS+MapReduce+Yarn £©¡¢ HBase£¨JavaAPI²Ù×÷+Phoenix £©¡¢Hive(Hql»ù±¾²Ù×÷ºÍÔÐìÖݺü¼Ð£ÀíÀí½â£©¡¢ Kafka¡¢Storm/JSto
rm¡¢Scala¡¢Python¡¢Spark (Core+sparksql+Spark streaming £© ¡¢¸¨ÖúС¹¤¾ß(Sqoop/Flume/Oozie/HueµÈ)
´óÊý¾Ý¹¤³Ì¼¼ÊõÈËÔ±¹¤×÷ÄÚÈÝ
´ÓÊ´óÊý¾Ý²É¼¯¡¢ÇåÏ´¡¢·ÖÎö¡¢ÖÎÀí¡¢ÍÚ¾òµÈ¼¼ÊõÑо¿£¬²¢¼ÓÒÔÀûÓᢹÜÀí¡¢Î¬»¤ºÍ·þÎñµÄ¹¤³Ì¼¼ÊõÈËÔ±¡£
´óÊý¾Ý¹¤³Ì¼¼ÊõÈËÔ±Ö÷Òª¹¤×÷
1.Ñо¿ºÍ¿ª·¢´óÊý¾Ý²É¼¯¡¢ÇåÏ´¡¢´æ´¢¼°¹ÜÀí¡¢·ÖÎö¼°ÍÚ¾ò¡¢Õ¹ÏÖ¼°Ó¦ÓõÈÓйؼ¼Êõ£»
2.ÑÐÖ£Öݼ¼Ð£ÄĸöºÃ¾¿¡¢Ó¦ÓôóÊý¾Ýƽ̨Ìåϵ¼Ü¹¹¡¢¼¼ÊõºÍ±ê×¼£»
3.Éè¼Æ¡¢¿ª·¢¡¢¼¯³É¡¢²âÊÔ´óÊý¾ÝÈíÓ²¼þϵͳ£»
4.´óÊý¾Ý²É¼¯¡¢ÇåÏ´¡¢½¨Ä£Óë·ÖÎö£»
5.¹ÜÀí¡¢Î¬»¤²¢±£ÕÏ´óÊý¾ÝϵͳÎȶ¨ÔË
ÀÏʦ¾¹ý¶àÄêµÄ¾Ñé·¢ÏÖһЩÎÊÌ⣺һЩ¿¼Éú×ÜÊÇϰ¹ß°Ñ´ðÌ⿨·ÅÔÚ×îºóÈ¥ÌîÍ¿£¬ÕâÑùºÜΣÏÕ¡£ÍòÒ»ÓÉÓÚ×îºóÒ»Á½µÀÌâ×ö²»³öÀ´£¬Ú¤Ë¼¿àÏëÖ®¼ÊÍüÁËʱ¼ä£¬»áÔì³É¼«´óÒź¶¡£Òò´Ë£¬×öÍêÑ¡ÔñÌâºó×îºÃÂíÉÏÍ¿´ðÌ⿨(×¢Òâ´ðÌ⿨Ñùʽ£ººáÅÅ»¹ÊÇÊúÅÅ)£¬Ñ¡¿¼ÌâÇмÇÒªÌîÍ¿¡£
´ð¾íÖУ¬¼ûµ½¼òµ¥Ì⣬ҪϸÐÄ£¬ÄªÍüºõËùÒÔ£¬½÷·À¡°´óÒâʧ¾£ÖÝ¡±¡£
ÿ¸öѧ¿ÆÓ¦µ±°´ÕÕÌâÄ¿ÏȺó˳Ðò´ðÌâ(²»ÒªÒ»¿´¼ûijһµÀ´óÌâ»á×ö¾ÍÏÈ×ö£¬¶ø°ÑСÌâ·ÅÔÚºóÃæ×ö)¡£
Äþ¿É¼á³Öµ½ÖÕ¿¼Ò»·ÖÖÓ£¬Ò²²»×ö½»¾íµÚÒ»ÈË¡£
Öп¼¡¢¸ß¿¼¡¢¸÷ÖÖ¿¼ÊԵľºÕùÊÇѹÁ¦ºÍÌôÕ½,Ò²ÊÇ»úÓöºÍÏ£Íû,³É¹¦ÊôÓÚսʤ×ÔÎÒµÄÈË¡£ÏàÐÅ×Ô¼º£¡Ïë»ñµÃ¸ü¶à·½·¨£¬»¶Óµ×²¿ÁôÑÔ
ÐУ»
6.¼à¿Ø¡¢¹ÜÀíºÍ±£ÕÏ´óÊý¾Ý°²È«£»
7.Ìṩ´óÊý¾ÝµÄ¼¼Êõ×ÉѯºÍ¼¼Êõ·þÎñ¡£