1樓:匿名使用者
r語言包含了統計計算的庫和像ggplot2這樣視覺化分析的庫,所以它不可能被完全廢棄,而且它所帶來的挖掘資料和統計彙總的能力是毋庸置疑搜耐的。
但是,當遇到在大資料集上構建模型的問題時,我們應該去挖掘一些像spark ml的工具。spark也提供r的包,sparkr可以在分散式資料集上應用r。
最好在你的「資料軍營」中多放點工具,因為拆正你不知道在「打仗」的時候會遇到什麼。因此,是時候從過去的r時代邁入spark ml的旅漏悔新時代了。
2樓:匿名使用者
r語言和spark 誰更勝一籌。
r語言適合單機版吧,函式肯定比spark豐搜譁臘富;
spark是分散式計算引擎,裡面包含世滑ml(machine learning),函式和功蘆螞能沒有r多,而且輸入格式要求比較高。適合大資料量下的計算(十億或百億級別,tb級別以上的資料),不過spark也有sparkr元件,建議可以瞭解一下。
一般情況下,是用抽樣資料,在r上實現模型,看看是否可用,再在大資料量下用spark實現,並執行調優。
3樓:
應該不會,impala是相當專注於傳統企業客戶和olap和資料倉儲工作負載。
shark支援傳統olap。 比較: 一、總體上 shark擴充套件了apache hive,大大加快在記憶體和磁碟上的查詢。
而impala是企業級資料倉儲系統, 可以很好地使用hive/ hdfs,從架構層來說。
4樓:就一
spark 是乙個平臺,r語言是乙個工具。。。這怎麼比呢。
不過r可以在spark上實現分散式。
大資料為什麼要選擇spark
5樓:匿名使用者
個人覺得不一定模蔽要用spark,其旦兆州他的也是可以的,例如r語言、python、hadoop、matlab等之類的都可以猜搜進行大資料的研究。
用spark做資料分析是怎樣一種體驗
6樓:匿名使用者
資料科學家為了乙個問題或進行深入研究,會使用相關的技術分析資料。通常,他們的工作包含特殊的分析,所以他們使用互動式shell,以使得他們能在最短的時間內看到查詢結果和**片段。spark的速度和簡單的api介面很好地符合這個目標,它的內建庫意味著很多演算法可以隨時使用。
spark通過若干元件支援不同的資料科學任務。spark shell使得用python或scala進行互動式資料分析變得簡單。spark sql也有乙個獨立的sql shell,可以用sql進行資料分析,也可以在spark程式中或spark shell中使用spark 庫支援機器學習和資料分析。
而且,支援呼叫外部的matlab或r語言編寫的程式。spark使得資料科學家可以用r或pandas等工具處理包含大量資料的問題。
有時,經過初始的資料處理階段後,資料科學家的工作將被產品化,擴充套件,加固(容錯性),進而成為乙個生產資料處理應用,作為商業應用的乙個元件。例如,乙個資料科學家的研究成果可能會產生乙個產品推薦系統,整合到乙個web應用上,用來向使用者生成產品建議。通常由另外的人員(如工程師)對資料科學家的工作進行產品化。
這個的話,先要了解下當下比較火的大資料,itjob官網上有大資料和spark的文章和帖子,如果覺得的不夠詳細,可以自己再去了解下。也可以去專業的貼吧和部落格尋找下答案。
如何利用r語言實現spark大資料分析與視覺化
7樓:網友
基礎環境介紹:
作業系統 rhel / centoos
已安裝軟體 hadoop hbase hive spark redis mongodb mysql 等大資料應用軟體。
r語言怎麼實現資料高階視覺化效果
8樓:匿名使用者
r是非常常用的分析工具,而當資料量較大時,用r語言需要需用的時間來完成訓練模型,spark作為大規模資料計算框架,採用記憶體計算,可以短時間內完成大量的資料的處理及計算模型,但缺點是不能圖形展示!
梁家輝和劉德華的演技誰更勝一籌
我認為是梁家輝,因為我覺得他演什麼就是什麼,每種型別他都駕馭得很出色。劉德華給人感覺溫文爾雅又帥氣深情,但是演技我覺得每部電影裡都差不多。我個人覺得梁家輝的演技更勝一籌,這是因為不僅是他的年齡大,還有就是他所經歷的事情比劉德華多,那麼他得到的演戲經驗也就比劉德華的多所造成的。還是梁家輝的演技更勝一籌...
孫儷和劉濤誰的演技更勝一籌 你更喜歡誰?
當然是孫儷,演藝界最喜歡的唯一演員,沒有其二,孫儷身上的正能量太多。當然是孫儷了,演什麼像什麼,自然而又舒服。當然是劉濤了。因為劉濤不管演什麼都非常的像,而且細節處理的也特別到位。首先孫儷和劉濤都是特別優秀的女演員,我覺得孫儷的演技更加的自然,我更加喜歡孫儷。孫儷的演技更好一些,這兩個人都是非常優秀...
跑滴滴和外賣大都月入過萬,誰更勝一籌
科技玩上癮 當跑滴滴和外賣都能月入過萬,那麼兩者中你會選擇哪一項呢? 侯玉川 看從什麼角度。我現在沒駕照沒車,我只能跑外賣。投入成本相對較低。產生價值速度快。經濟風險小。但是辛苦程度要比滴滴高。路上肉包鐵,危險性要高一些。颳風下雨要受罪一些。但是對於沒駕照,或者沒錢投資買車的人來說,外賣勝於滴滴。而...