Hadoop

标签：google   red   生成   base   没有   数据   高阶函数   big   imp   

    搜索引擎：搜索组件、索引组件
        蜘蛛程序：

        存储：
            分析处理：

                2003年：The Google File System
                    2004年：MapReduce：Simplified Data Processing On Large Cluster
                    2006年：BigTable：A Distributed Storage System for Structure Data

                    HDFS + MapReduce = Hadoop
                    Hbase

                    Nutch

    批处理：

    函数式编程：
        Lisp, ML函数式编程语言：高阶函数；
                map, fold
                        map：
                                map(f())
                                    map：接受一个函数为参数，并将其应用于列表中的所有元素；从而生成一个结果列表
                          fold：
                                接受两个参数：函数，初始值
                                        fold(g(),init)

            mapreduce：
                mapper：
                    reducer：
                    shuffle and sort

Hadoop

标签：google   red   生成   base   没有   数据   高阶函数   big   imp   

原文地址：https://blog.51cto.com/smoke520/2388236