中文字幕av高清_国产视频一二区_男女羞羞羞视频午夜视频_成人精品一区_欧美色视_在线视频这里只有精品

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術干貨  > Hive調優(重點)

Hive調優(重點)

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 17:21:56 1662110516

減少distinct:使用distinct容易造成數據傾斜問題,使用group by的子查詢代替它。

map任務數量優化: 實際業務中往往存在大量的分區表,每個分區表都實際存儲一定量的文件,其中必然有些分區的數據量很少。

正常讀取時往往有多少個文件就創建多少個map,此時可以通過設置一些參數,讓sql語句在執行前先合并表文件。

Hive調優(重點)

-參數: mapred.min.split.size.per.node = {設置一個節點中分片至少的大小}byte mapred.min.split.size.per.rack= {設置一個交換機中分片至少的大小}byte mapred.max.split.size = {設置分片的最大大小}byte hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat 設置hive先合并文件再執行  

-效果: 假設我全部設置為100000000(相當于100M),經過配置后,hive會首先合并文件,切分成各種100M,最后再把剩下來的各個節點上的散碎數據合并到一起再生成幾個分片。

還有一種情況,當一個map任務中處理數據量很大時(大小很小,但是條數很多),可以采用分桶法,先用一個查詢語句把該表數據查出來分桶寫入,再使用這個分桶表。

相當于增加map任務數量,增加并行度。 并行度優化: 

1.手動設置reduce數量 mapred.reduce.tasks 

2.避免全局的聚合函數,使用聚合函數盡量要分組

3.避免全局的order by,有時候全局排序很難避免,但可以根據topN需求,再各個分區中只留下N個值,再進行全局排序。

4.避免笛卡爾積 5.設置mapTask分片大小 小文件問題:

1.避免產生小文件:少用動態分區、根據需求使用reduce

2.使用Sequencefile作為表存儲格式,不要用textfile,在一定程度上可以減少小文件

3.使用hadoop archive命令把小文件進行歸檔

4.重建表,建表時減少reduce數量

5.參數設置: hive.merge.mapfiles = true設置map端輸出合并 hive.merge.mapredfiles = true設置reduce輸出合并hive.merge.size.per.task = 25610001000 設置合并文件的大小hive.merge.smallfiles.avgsize=16000000 設置當平均大小小于該值時合并 存儲格式

1.使用ORCfile存儲,可以顯著提高join操作的查詢速度

2.使用壓縮格式存儲,可以顯著降低網絡IO和存儲大小 使用map端join 使用tez作為默認引擎 使用向量化查詢:一次執行1024行數據的操作 hive.vectorized.execution.enabled = true; hive.vectorized.execution.reduce.enabled = true; 

設置本地模式、并行模式(自動并行非依賴階段)、嚴格模式開啟JVM重用,總結;減少distinct設置讀取時合并小文件和合理拆分大文件,優化并行度 設置存儲格式和壓縮格式 設置輸出時合并小文件 設置map端JOIN更換引擎,設置本地模式、并行模式、嚴格模式開啟JVM重用 開啟推測執行

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 激情开心成人网 | 欧美日韩国产一区二区三区 | 日本免费在线观看 | 亚洲一区二区精品视频 | 国产成人欧美一区二区三区一色天 | 日韩一区在线播放 | 国产精品久久久久久免费一级 | 日韩一级av毛片 | 日韩精品久久一区二区三区 | 久久亚洲精品中文字幕蜜潮电影 | 91在线精品秘密一区二区 | 在线播放91 | 99精品国产99久久久久久福利 | 国产成人精品免费视频 | 国产成人免费视频网站高清观看视频 | 1区2区3区视频 | 国产一区二区在线电影 | 99精品在线免费 | 蜜臀网 | 影音先锋男人网 | 日本黄色免费网站 | 久久精品久久久久久久久久久久久 | 国产精品1区二区 | 荡女妇边被c边呻吟视频 | 午夜影视剧场 | 欧美大片在线看免费观看 | 理论片免费在线观看 | 精品成人免费一区二区在线播放 | 日韩视频一区 | 国产精品午夜电影 | 在线播放国产一区二区三区 | 污网址在线看 | 美日韩免费视频 | 福利在线播放 | www.操.com | 成人毛片在线免费看 | 天堂精品 | 欧美成人久久久免费播放 | 另类视频在线 | 操人网站| 韩国xxxx性hd极品 |