我們那個年代，廣告就是這麽個畫質。。。

我就喜歡看廣告

你們知道這個是什麽廣告麽？

我不是做大數據的，所以都是外行下琢磨而已

多大的數據算大數據？

三個情況：

1. 單機存不下的單個大文件【比如10TB的超級大文件】

2. 單機存不下的超多數量文件【比如几千億張圖片】

3. 單機處理不了的數據量

一般把單機解決不了的問題，定義為大數據。

所以大數據可以分爲兩個問題：“數據怎麽存”和“數據怎麽用”

什麽是mapreduce？

我們從數據怎麽用開始講起吧~

比如，我現在有一組數據，我想找到這個數據裏的最小值

我們把前一個數據的結果和後面這個數據比較，這個過程就是reduce了

比如 sum = 0， sum = sum + element[i]

這個就是最基本的reduce

再比如，我有一個城市所有人的數據，

我知道他們的出生年月，現在要計算他們的年紀 = 2020 - 他們的出生年

這個過程就是map了

birthyear_list = 保存了所有人的出生年份，list結構
age_map(list) =  2020 - list 計算list的年紀，遍歷list每個元素，執行這個map函數

現在連起來思考，我得到了整個城市所有人的出生年份

現在計算誰的年紀最大。

map函數計算大家的年份，reduce函數計算誰的年紀最大

所有人的出生年份.mapper(2020-birth).reduce(a>b?a:b)

mapreduce，講解完畢~

爲什麽列式存儲？

大家都看到了，map和reduce的入參，是一個數據類型相同的list！

如果是傳統的行式存儲，我需要這麽寫代碼

// 查找整個城市的所有人裏年紀最大的人的歲數
// table 表示 一個表 存了所有人的個人信息，出生年份記錄在第七列
list = []
遍歷 table :
       讀取一行數據 放到 row
       讀取row的第7列 ，放到year
      list.append(year)

list.map(2020-year).reduce(a>b?a:b)

再來看看列式存儲

// 查找整個城市的所有人裏年紀最大的人的歲數
// table 表示 一個表 存了所有人的個人信息，出生年份記錄在第七列
table[7].map(2020-year).reduce(a>b?a:b)

因爲列式儲存，所以可以直接拿出一列的數據【就像行式存儲，每次拿到一行數據】 所以，列式存儲，非常適合map reduce操作！！！【省時間，省空間，速度非常快】

大數據怎麽存？

Google爲了解決數據的存儲問題，首先就構建了一個分佈式存儲文件系統GFS

這樣就可以存很大很大的文件了【數據庫文件】

光是裸數據，不方便使用啊。所以要用數據庫來管理。

然後爲了後續使用方便，所以在分佈式文件系統GFS上，開發了列式存儲的數據庫BigTable

開源項目Hadoop，分別實現了GFS和BigTable【取名字是HDFS和HBase】

大數據怎麽用？

關於數據怎麽用，就是我説的mapreduce了，Hadoop也實現了Mapreduce

不過，現在已經被Spark替代了

對數據map以後，分給n多個小電腦，分別處理，在統一回收，得到新的list

把list再給reduce，整個過程都是分佈式的

spark是一種特殊的存在，主要優勢就是内存計算【可以交互】

mapreduce看上去很簡單，實際也很簡單，用map reduce寫代碼，就像匯編寫程序，你説能不能幹活，肯定可以！但是效率太慢了，寫起來囉嗦！還容易寫錯！

所以就想，能不能搞點高級語言？

然後封裝了Pig和Hive【Hive可以實現類似SQL的方式操作分佈式存儲系統】

爲什麽會這樣呢？

數據庫可以大致分爲 OLTP和 OLAP

OLTP就是，我們常説的CRUD，説到CRUD自然想到 SQL，所以我們覺得可以用SQL來寫分佈式計算，滿足一定的需求【Spark SQL 應運而生】

OLAP就是，我們常説的統計，分析，聚類。。。然後説到統計，我們就想到了R語言。然後SparkR就出現 了~

分佈式除了儅數據庫，還可以用來做很多事情

比如神經網絡，訓練需要很多計算資源，用Spark可以實現分佈式計算，MLlib

再比如圖數據庫，GraphX

計算24小時的熱詞，搜索等等 Spark Streaming

spark生態系統就這麽一堆東西出來了~

Spark可以跑在集群上，比如yarn ，k8s

數據源可以是HBase，Hive，Cassandra等等。。。

根據數據結構分類數據庫

如果說程序 就是 數據結構 + 算法

那麽數據庫 就是 存儲結構 + 計算引擎

計算引擎 現在基本就是 Spark了

那麽存儲結構有哪些呢？

1. Vector結構 ： 時序數據庫 influxdb

2. List 結構 ： 區塊鏈

3. Map結構 ： Redis

4. Tree結構： MongoDB

5. Table結構 ： MySQL

6. Graph結構： Neo4J

理髮歸來。。。

後果，你們知道的

今天推薦一個大二的小妹妹【亖壹】

她非常喜歡書法，堅持了3年

希望大家多多支持這個小妹妹吧

To UP

你的字很美，非常治愈人。希望你可以繼續做你喜歡的事情。也希望你健康幸福快樂一生~

在一個這麽浮躁的社會，能有你這樣，靜下心練字的小朋友不多了

你的聲音也很美！特別好聽！

我的评价：声音非常甜美，说话很可爱，特别喜欢看她的视频

如果大家感觉到压力了，可以看看她的视频，最适合解压了！！！

听她说话，整个人都融化了~

不亏是富婆。。。

没声音，再好的戏也出不来。。。【还是喜欢听她的声音，不知道为什么没声音】

一个会做饭的男人，不愁没有女朋友啊~

300多K的订阅，希望进一步增加吧！！！

真的有很多鹿！！！

买了鹿仙贝，给可以喂它们

每到这个时候，我就肚子饿

所以，我总是会找吃饭的视频

希望你们也可以养成我这样的好习惯~

很可耐的UP~~~~

我覺得共產黨要人肉我是很簡單的吧？

我發了這麽多視頻~

網警只要記下來，然後去Bilibili上要求看過這些視頻的用戶篩一下，就會發現

只有我一個人在B站看過這些視頻

然後就可以把我叫去喝茶了~

今天看到了两条新闻【2020年7月7日】

TikTok將撤出香港 成為香港國安法實施以來首個退出的互聯網服務

https://hk.finance.yahoo.com/news/tiktok%E5%B0%87%E6%92%A4%E5%87%BA%E9%A6%99%E6%B8%AF-%E6%88%90%E7%82%BA%E9%A6%99%E6%B8%AF%E5%9C%8B%E5%AE%89%E6%B3%95%E5%AF%A6%E6%96%BD%E4%BB%A5%E4%BE%86%E9%A6%96%E5%80%8B%E9%80%80%E5%87%BA%E7%9A%84%E4%BA%92%E8%81%AF%E7%B6%B2%E6%9C%8D%E5%8B%99-040505961.html

谷歌、Facebook和Twitter暂停处理香港政府的用户数据请求

https://cn.wsj.com/articles/whatsapp%E5%B0%86%E6%9A%82%E5%81%9C%E5%A4%84%E7%90%86%E9%A6%99%E6%B8%AF%E6%89%A7%E6%B3%95%E6%9C%BA%E6%9E%84%E5%85%B3%E4%BA%8E%E7%B4%A2%E5%8F%96%E7%94%A8%E6%88%B7%E6%95%B0%E6%8D%AE%E7%9A%84%E8%AF%B7%E6%B1%82-11594077313

从新闻的解读来看，国安法的影响下，共产党有权向香港的ISP或者VPS厂商要求提供用户数据！

我们没法保证ISP或者VPS违抗共产党拒绝交出用户数据。哪怕拒绝了，共产党也可以来硬的。

所以现在，香港所有的VPS或者机场，都可以等同认为是蜜罐。

针对迷雾通用户，建议就是别选香港节点了！！！

针对Tor用户，尽量不要做这么危险的事情！

哪怕临时应急，也必须开了代理的情况下，增加使用obfs4/meek网桥【不要用内嵌网桥】

暂时想到这么多吧，想到其他的我再补充！

因为我不想再参与讨论翻墙的事情，不用回复我了

出自動畫《升起的煙花，從下面看？從側面看？》

東森 TV？

超級好看

好可愛啊~

額外問一句，你們知道什麽叫跳皮筋麽？

7月7日特別奉獻~

就喜歡看女主，帥啊~

長得這麽好看，做up可惜了啊

這個up挺好的

雖然有時候，瘋瘋癲癲的，但是，講解這些還是很正經的

那是一个飞扬跋扈的春天，我和小妖坐在吱吱呀呀的吊桥上望着脚下的流水发呆。
“颜，你敢跳下去吗？”小妖透着一脸坏笑问我。
“不敢。”我使劲摇头。6岁的我，胆小得像只绵羊。
“胆小鬼！”说着她就从桥上用铁链连成的扶栏上翻了过去，溅起个漂亮的水花就一头扎进了水中。
不到一分钟，她就站了起来，头上一寸来长的口子，糊着泥巴泛着血水，一直顺着鼻梁子流到嘴角，顺便给我的还有一个掺着热血的傲慢的笑，我一下子就记起了电视里的小鬼，最终没有忍住，吐在了脚下的木桥板上。从此，忌水。

女：这次是我真的决定离开

远离那些许久不懂的悲哀

想让你忘却愁绪忘记关怀

放开这纷纷扰扰自由自在

男：那次是你不经意的离开

成为我这许久不变的悲哀

于是淡漠了繁华无法再开怀

于是我守着寂寞不能归来

合：啊……拥起落落余晖任你采摘

啊……留住刹那永远为你开

女：这次是我真的决定离开

远离那些许久不懂的悲哀

想让你忘却愁绪忘记关怀

放开这纷纷扰扰自由自在

男：那次是你不经意的离开

成为我这许久不变的悲哀

于是淡漠了繁华无法再开怀

于是我守着寂寞不能归来

合：啊……拥起落落余晖任你采摘

啊……留住刹那永远为你开

啊……拥起落落余晖任你采摘

啊……留住刹那永远为你开

那次是你不经意的离开

成为我这许久不变的悲哀

于是淡漠了繁华只为你开怀

要陪你远离寂寞自由自在 ```

下次貼下歌詞。。。

我覺得馮提莫唱歌挺好的

總感覺是R18的，全程飆車，還不是開往幼兒園的那種

每次看這段，都覺得很甜。

西宮好可愛

今天網速太慢了，下了。。。

估計，也就我這把歲數的人會看這種電視劇了~~~

我想發中文版的

YouTube上找不到，發個日語原版