QUENSTION:海量日志数据,提取出某日访问百度次数最多的那个IP。
解决思路:
1.IP不是无穷的,总共是2……32个 ,所以最多关于IP的数据最多有4G大小,采用分而治之的思想将这些文件在逻辑上分为1024份,每份也只是4MB大小的文件。
2.对这1024份文件进行mapreduce计算,类似wordcount的计算,IP作为key ,value是每个IP出现的次数。
3.1024份的数据计算完后实现升值排序。得到最后结果
实现步骤
1.将日志文件,直接从本地上传到hdfs上,或者先存到Linux中在放到hdfs上
2.修改相关配置文件,使这些文件分为1024份
3.编写类似wordcount的mp程序
4.选出每一小块中出现频率最高的IP
5.然后对这1024条IP进行比较排序
不好意思,只是思路,没有代码,各位简友,要是有源代码,还请不吝赐教,谢谢!