@natasha #3

好電影，越來越少了

需要一些洗滌靈魂的電影

只是感嘆，男人總是不理解女人在想什麽，想要什麽

@natasha #1

也許懂得越少，活得越真

我希望自己什麽都不知道，沒心沒肺活著

現在什麽都知道，壓力多大，心裏清楚

年紀越大，覺得錢越是一個數字。不明白爲什麽這麽多人會沉迷在這個數字游戲裏

我只是想做一些自己想做的事情。。。

我其實感覺，夫妻之間，最重要的是陪伴

一個人，很孤獨。

做一些奇怪的事情，只是想引起對方的注意，想對方開心

@natasha #2

嗯，我也覺得長輩總是不理解下一代的想法

尤其是中國的國情下。。

永遠是用道德綁架下一代

有道理就講道理，講不出道理i，就扔一句“我都是爲了你好”

中國父母，根本沒有把自己的孩子當人，只是儅自己養的一條狗

把孩子訓練成自己想要的模樣

中國的孩子，慢慢的失去了自我，變得和他們父母一樣

惡性循環，就像一個詛咒，解不了

我就想知道你們能不能猜出來是什麽廣告？

我就想知道你們能不能猜出來是什麽廣告？

@spark #4 你説的這兩點，我前面已經説了

不過，Spark和Hadoop，我都沒有用過。。。

我也不是做大數據的

我是外行，你不用理會我胡言亂語的

繼續發廣告

我感覺，我就是特別容易哭。。。

感謝大家看完我發的這麽多廣告

謝謝~

我去哭一會兒。。。

我們那個年代，廣告就是這麽個畫質。。。

我就喜歡看廣告

你們知道這個是什麽廣告麽？

考慮嗶哩嗶哩的視頻，平均200MB，平均每天上傳4萬個，

那麽每年存視頻，需要消耗3PB，考慮到3副本備份，就是9PB

算是用戶數據活動，就是14PB

感覺現在開個互聯網公司，對硬盤的消耗真是巨大啊

假設每個http請求，消耗4KB， 如果服務器的上行帶寬100Mbps，那麽大概可以承受3000個請求的并發

如果是看視頻，那麽以720p分辨率來計算，理論可以支持50路視頻的并發

假設，我自己開個嗶哩嗶哩這樣的網站

有10億用戶，那麽http的并發按3%計算，需要1萬臺服務器去抗http請求

假設，需要額外1萬臺服務器用來做視頻服務器

那麽額外的需要5000台服務器，作爲數據庫服務器

那麽服務器需要2.5萬台服務器起碼吧？

每臺服務器按1萬計算，就是2.5億，還有這些服務器的電費，寬帶費

人力成本，各種稅收。。。

開個公司不容易啊。。。都是錢啊

開個小公司好了

不保存用戶的操作記錄【省了好多硬盤錢】

假設用戶數量是10萬級別【預估數據庫的大小是1TB】

數據量比較小，估計不用上分佈式數據庫了【上一套Oracle就可以了，做雙活】

并發按3%計算，也就是3000，那麽一臺服務器就可以抗住并發了【應用服務器主備，所以配置兩臺】

應用服務器，打算用OpenResty做API【性能好，可以高并發】

後端用FastAPI寫服務，再在騰訊云上買個GPU云用來訓練

感覺基本就可以抗下IT的需求了吧？

1. 不用Java，太吃内存了，使用OpenResty可以抗住相同并發的情況下，更加省内存

2. 不用微服務，一個服務就應該把業務都完成，每個服務一個進程太吃内存，所有服務都寫到一個進程足夠了

3. nginx前置負載均衡就可以了，後面數據庫雙活。就可以不用部署分佈式了

還是小公司運營簡單。。。

公司大了以后，運維完全就不會了。。。

大公司，服務器動不動就是幾千臺，動不動就是一個集群，好幾個機房

沒那個本事管理這麽多電腦~

什麽時候能上IPv6啊！！！

天天内網穿透，很討厭！！

美國IPv6都普及4成了，中國才0.24%，氣死我了！！！

感覺大數據被雲計算衝擊的很厲害

大數據的存儲，被雲存儲替代了

大數據的計算，也有k8s和 虛擬化解決方案

感覺，神經網絡，也可以用MPI去實現。

就是感覺 ，現在 還説大數據，就不知道應用點在哪裏？

區塊鏈，感覺熱度下去了吧？

一致性算法，感覺Raft ， Paxos更多些，真有人用Pow去做一致性麽？

VR好像熱度也下去了

Google 好像不搞VR了？

不知道現在的WebXR是什麽情況

我感覺，IT行業泡沫真大啊。。。

也許是我不懂吧

不是很喜歡現在，特別浮躁，動不動就一個概念

沒有人踏踏實實做技術

感覺年輕人都是兩個極端

1. 注重論文，看了很多，寫了很多，就是不肯寫代碼【光說理論，紙上談兵的感覺】

2. 不看論文，光是跟風。天天說“這個死了”，“那個主流”。代碼水平也許很好吧，也看了很多開源項目。但是技術沒有任何沉澱，也不是很懂算法。感覺就是跟風使用各種開源項目。

紙上得來終覺淺，絕知此事要躬行

做學術，不能浮躁。先去想想，我要解決什麽問題。給自己立下一個課題。

然後，開始學習相關的技術和論文。

最後開始自己，找個解決辦法。用編程，用算法去實現。

這個時候，就是踩坑了！就是踩坑的時候，我們才知道，我們需要做什麽細節。

也就是這些細節，是最寶貴的經驗。因爲這些細節。我們的論文才有價值。

比如Relu這個激活函數，就是在事件中發現的。

當然，後來，我們都搞gelu了

然後sgd也換成了adam

但是，這些細節，都需要我們去實踐！

不去實踐，你永遠發現不了自己該去幹什麽

光寫論文是沒用的，還是需要去寫代碼，實現別人的論文

或者實現自己的論文，發現一些不足，自己要去改進

所以，這個才是做學術的態度

我不是做大數據的，所以都是外行下琢磨而已

多大的數據算大數據？

三個情況：

1. 單機存不下的單個大文件【比如10TB的超級大文件】

2. 單機存不下的超多數量文件【比如几千億張圖片】

3. 單機處理不了的數據量

一般把單機解決不了的問題，定義為大數據。

所以大數據可以分爲兩個問題：“數據怎麽存”和“數據怎麽用”

什麽是mapreduce？

我們從數據怎麽用開始講起吧~

比如，我現在有一組數據，我想找到這個數據裏的最小值

我們把前一個數據的結果和後面這個數據比較，這個過程就是reduce了

比如 sum = 0， sum = sum + element[i]

這個就是最基本的reduce

再比如，我有一個城市所有人的數據，

我知道他們的出生年月，現在要計算他們的年紀 = 2020 - 他們的出生年

這個過程就是map了

birthyear_list = 保存了所有人的出生年份，list結構
age_map(list) =  2020 - list 計算list的年紀，遍歷list每個元素，執行這個map函數

現在連起來思考，我得到了整個城市所有人的出生年份

現在計算誰的年紀最大。

map函數計算大家的年份，reduce函數計算誰的年紀最大

所有人的出生年份.mapper(2020-birth).reduce(a>b?a:b)

mapreduce，講解完畢~

爲什麽列式存儲？

大家都看到了，map和reduce的入參，是一個數據類型相同的list！

如果是傳統的行式存儲，我需要這麽寫代碼

// 查找整個城市的所有人裏年紀最大的人的歲數
// table 表示 一個表 存了所有人的個人信息，出生年份記錄在第七列
list = []
遍歷 table :
       讀取一行數據 放到 row
       讀取row的第7列 ，放到year
      list.append(year)

list.map(2020-year).reduce(a>b?a:b)

再來看看列式存儲

// 查找整個城市的所有人裏年紀最大的人的歲數
// table 表示 一個表 存了所有人的個人信息，出生年份記錄在第七列
table[7].map(2020-year).reduce(a>b?a:b)

因爲列式儲存，所以可以直接拿出一列的數據【就像行式存儲，每次拿到一行數據】 所以，列式存儲，非常適合map reduce操作！！！【省時間，省空間，速度非常快】

大數據怎麽存？

Google爲了解決數據的存儲問題，首先就構建了一個分佈式存儲文件系統GFS

這樣就可以存很大很大的文件了【數據庫文件】

光是裸數據，不方便使用啊。所以要用數據庫來管理。

然後爲了後續使用方便，所以在分佈式文件系統GFS上，開發了列式存儲的數據庫BigTable

開源項目Hadoop，分別實現了GFS和BigTable【取名字是HDFS和HBase】

大數據怎麽用？

關於數據怎麽用，就是我説的mapreduce了，Hadoop也實現了Mapreduce

不過，現在已經被Spark替代了

對數據map以後，分給n多個小電腦，分別處理，在統一回收，得到新的list

把list再給reduce，整個過程都是分佈式的

spark是一種特殊的存在，主要優勢就是内存計算【可以交互】

mapreduce看上去很簡單，實際也很簡單，用map reduce寫代碼，就像匯編寫程序，你説能不能幹活，肯定可以！但是效率太慢了，寫起來囉嗦！還容易寫錯！

所以就想，能不能搞點高級語言？

然後封裝了Pig和Hive【Hive可以實現類似SQL的方式操作分佈式存儲系統】

爲什麽會這樣呢？

數據庫可以大致分爲 OLTP和 OLAP

OLTP就是，我們常説的CRUD，説到CRUD自然想到 SQL，所以我們覺得可以用SQL來寫分佈式計算，滿足一定的需求【Spark SQL 應運而生】

OLAP就是，我們常説的統計，分析，聚類。。。然後説到統計，我們就想到了R語言。然後SparkR就出現 了~

分佈式除了儅數據庫，還可以用來做很多事情

比如神經網絡，訓練需要很多計算資源，用Spark可以實現分佈式計算，MLlib

再比如圖數據庫，GraphX

計算24小時的熱詞，搜索等等 Spark Streaming

spark生態系統就這麽一堆東西出來了~

Spark可以跑在集群上，比如yarn ，k8s

數據源可以是HBase，Hive，Cassandra等等。。。

根據數據結構分類數據庫

如果說程序 就是 數據結構 + 算法

那麽數據庫 就是 存儲結構 + 計算引擎

計算引擎 現在基本就是 Spark了

那麽存儲結構有哪些呢？

1. Vector結構 ： 時序數據庫 influxdb

2. List 結構 ： 區塊鏈

3. Map結構 ： Redis

4. Tree結構： MongoDB

5. Table結構 ： MySQL

6. Graph結構： Neo4J

理髮歸來。。。

後果，你們知道的

今年大二？剛好給我兒子當老婆！【我在想peach。。。】

想有個這麽乖巧的兒媳婦啊~

我年輕的時候，也喜歡自己手抄歌詞~

也喜歡抄寫詩詞歌賦！

也喜歡書法！

因爲喜歡背誦古詩詞，所以讀了文科！

然後，就莫名其妙的做了現在的這個行業【天天和數學打交道。。。】

我也喜歡邊聽歌，邊抄寫歌詞，也許在某個歲數必經的過程吧~

世间安得双全法，不负如来不负卿。

這麽好的up不知道，爲什麽我覺得是這個世界上的一股清流啊！

玲珑骰子安红豆，入骨相思知不知。

最後，希望大家都好好練字吧~

今天推薦一個大二的小妹妹【亖壹】

她非常喜歡書法，堅持了3年

希望大家多多支持這個小妹妹吧

To UP

你的字很美，非常治愈人。希望你可以繼續做你喜歡的事情。也希望你健康幸福快樂一生~

在一個這麽浮躁的社會，能有你這樣，靜下心練字的小朋友不多了

你的聲音也很美！特別好聽！

一个会做饭的男人，不愁没有女朋友啊~

300多K的订阅，希望进一步增加吧！！！

我的评价：声音非常甜美，说话很可爱，特别喜欢看她的视频

如果大家感觉到压力了，可以看看她的视频，最适合解压了！！！

听她说话，整个人都融化了~

不亏是富婆。。。

没声音，再好的戏也出不来。。。【还是喜欢听她的声音，不知道为什么没声音】

真的有很多鹿！！！

买了鹿仙贝，给可以喂它们

每到这个时候，我就肚子饿

所以，我总是会找吃饭的视频

希望你们也可以养成我这样的好习惯~

很可耐的UP~~~~

我发这个贴子，是为了提醒大家

不要再在香港部署翻墙软件

不要使用香港节点的VPS或者机场

哪怕是Tor也是不安全的

因为我好像，没有看到其他人发出类似的警告

我就在2049提醒下看到的朋友们了！

注意安全啊！

to 香港手足

关于怎么翻墙，可以看这个贴子

https://www.pincong.rocks/article/15493

我希望香港手足，可以在这次事情以后，学会更多保护自己的手段

学会翻墙以后，再学会使用Tor浏览器！！！

翻墙是为了让你们可以保护自己，也是为了让国际社会知道香港发生了什么！

YouTube搜索

劉若英 [ 繼續-給十五歲的自己 ] MV官方完整版

可以聼中文版

2049有bug，我發不了視頻【好幾次了，很多視頻發不了】

@lklk #2 才刚上大学。。。

就算去国外也得大学毕业以后。。。

交换生估计现在这个情况没可能了。

Tor在启动后【不用网桥的话】，会先向目录服务器请求，所以必然会有指向目录服务器的IP地址。

目录服务器的IP是写死在Tor里的，具体的IP看代码文件

auth_dirs.inc

fallback_dirs.inc

共产党只要VPS厂商，提供连接了这些IP的用户，就可以确定是Tor用户了！后面就是慢慢筛选，一个个查就好了。

第二种情况，使用obfs4网桥。

可以在Tor浏览器的地址栏，输入 about:config回车

然后过滤器里输入 obfs4

所以共产党，只要过滤连接了这些IP的用户，就可以确定是Tor用户了！！

第三种情况，使用meek网桥(前置域名：ajax.aspnetcdn.com)

首先，国内的Azure是特供版【由世纪互联代理运营中国的微软云业务】，不排除香港以后也这样

再者，Google他们是表态了不给共产党数据，但是微软没有表态！！！

从所有情况表明，使用Tor的内嵌网桥非常不安全！

建议使用自己找的网桥【是不是蜜罐自己判断】

最好的办法，还是别用香港相关的任何网络服务，不仅仅是翻墙和Tor

从目前来看，国安法已经标志着“一国两制”彻底没了！【不要脸了！】

我覺得共產黨要人肉我是很簡單的吧？

我發了這麽多視頻~

網警只要記下來，然後去Bilibili上要求看過這些視頻的用戶篩一下，就會發現

只有我一個人在B站看過這些視頻

然後就可以把我叫去喝茶了~

今天看到了两条新闻【2020年7月7日】

TikTok將撤出香港 成為香港國安法實施以來首個退出的互聯網服務

https://hk.finance.yahoo.com/news/tiktok%E5%B0%87%E6%92%A4%E5%87%BA%E9%A6%99%E6%B8%AF-%E6%88%90%E7%82%BA%E9%A6%99%E6%B8%AF%E5%9C%8B%E5%AE%89%E6%B3%95%E5%AF%A6%E6%96%BD%E4%BB%A5%E4%BE%86%E9%A6%96%E5%80%8B%E9%80%80%E5%87%BA%E7%9A%84%E4%BA%92%E8%81%AF%E7%B6%B2%E6%9C%8D%E5%8B%99-040505961.html

谷歌、Facebook和Twitter暂停处理香港政府的用户数据请求

https://cn.wsj.com/articles/whatsapp%E5%B0%86%E6%9A%82%E5%81%9C%E5%A4%84%E7%90%86%E9%A6%99%E6%B8%AF%E6%89%A7%E6%B3%95%E6%9C%BA%E6%9E%84%E5%85%B3%E4%BA%8E%E7%B4%A2%E5%8F%96%E7%94%A8%E6%88%B7%E6%95%B0%E6%8D%AE%E7%9A%84%E8%AF%B7%E6%B1%82-11594077313

从新闻的解读来看，国安法的影响下，共产党有权向香港的ISP或者VPS厂商要求提供用户数据！

我们没法保证ISP或者VPS违抗共产党拒绝交出用户数据。哪怕拒绝了，共产党也可以来硬的。

所以现在，香港所有的VPS或者机场，都可以等同认为是蜜罐。

针对迷雾通用户，建议就是别选香港节点了！！！

针对Tor用户，尽量不要做这么危险的事情！

哪怕临时应急，也必须开了代理的情况下，增加使用obfs4/meek网桥【不要用内嵌网桥】

暂时想到这么多吧，想到其他的我再补充！

因为我不想再参与讨论翻墙的事情，不用回复我了

東森 TV？

超級好看

好可愛啊~

額外問一句，你們知道什麽叫跳皮筋麽？

出自動畫《升起的煙花，從下面看？從側面看？》

長得這麽好看，做up可惜了啊

這個up挺好的

雖然有時候，瘋瘋癲癲的，但是，講解這些還是很正經的

就喜歡看女主，帥啊~