零基礎(chǔ)學(xué)編程需要什么基礎(chǔ)？英語不好可以學(xué)嗎 2022-09-06
零基礎(chǔ)學(xué)編程需要什么基礎(chǔ)？英語不好可以學(xué)嗎？零基礎(chǔ)學(xué)習(xí)編程需要具備扎實(shí)的計(jì)算機(jī)基礎(chǔ)常識，較強(qiáng)的邏輯思維、計(jì)算機(jī)操作系統(tǒng)體系結(jié)構(gòu)、計(jì)算...詳情>
爬蟲分類有哪些？ 2022-09-05
通用網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)中搜集網(wǎng)頁，采集信息，這些網(wǎng)頁信息決定著整個引擎系統(tǒng)的內(nèi)容是否豐富，信息是否即時，因此其性能的優(yōu)劣直接影響著搜索...詳情>
2022年it行業(yè)的就業(yè)方向及前景分析 2022-09-05
在2022年it主流就業(yè)方向包括前端開發(fā)、數(shù)據(jù)庫管理、大數(shù)據(jù)開發(fā)、后臺開發(fā)、嵌入式開發(fā)、AI智能和UI設(shè)計(jì)這七大方向，每個方向所需要的技能都會...詳情>
SparkStreaming消費(fèi)速度趕不上生產(chǎn)速度怎么辦？ 2022-09-02
在默認(rèn)情況下，Spark Streaming 通過receiver或者Direct方式以生產(chǎn)者生產(chǎn)數(shù)據(jù)的速率接收數(shù)據(jù)。當(dāng) batch processing time > batch interval 的...詳情>
SparkStreaming一個批次有多久？一個批次有多少條數(shù)據(jù)？ 2022-09-02
關(guān)于批次間隔需要結(jié)合業(yè)務(wù)來確定的，如果實(shí)時性要求高，批次間隔需要調(diào)小。 每個批次的數(shù)據(jù)量是和每天產(chǎn)生的數(shù)據(jù)量有直接關(guān)系，在計(jì)算的時候需...詳情>
批次累加 2022-09-02
UpdataStateBykey updataStateBykey是特殊的reduceByKey， 相當(dāng)于oldValue+reduceByKey(newValue1,newValue2)，通過傳入一個updateFunc來實(shí)現(xiàn)...詳情>
解決數(shù)據(jù)積壓（重點(diǎn)） 2022-09-02
批處理時間<<批間隔時間：流量太小，集群閑置，浪費(fèi)資源，批處理時間>>批間隔時間：流量太大，集群繁忙，數(shù)據(jù)積壓導(dǎo)致系統(tǒng)崩潰#####通過設(shè)置sp...詳情>
SparkStreaming整合Kafka（重點(diǎn)） 2022-09-02
receiver方式 sparkStream啟動一個單獨(dú)的線程receiver定時使用kafka高階API向kafka拉取數(shù)據(jù)，并自動地更新zk的offsets。優(yōu)點(diǎn)：用戶專注于業(yè)務(wù)...詳情>
DStream 2022-09-02
DStream是Spark Streaming的基礎(chǔ)抽象，代表持續(xù)的數(shù)據(jù)流，它由一系列連續(xù)的RDD組成，一個批次間隔接收的數(shù)據(jù)只會存放在一個block中，因此每個...詳情>
SparkSQL的時間類型？ 2022-09-02
SparkSQL的時間類型？SparkSQL的所有類型都在org.apache.spark.sql.types._的包下面，這個里面我們可以引入對應(yīng)的schema類型，包括事件的Date...詳情>
熱問標(biāo)簽 更多>>
在線提問
專業(yè)導(dǎo)師線上坐鎮(zhèn)，解答個性化學(xué)習(xí)難題
提交問題
京公網(wǎng)安備 11010802030320號