愛鋒貝

 找回密碼
 立即注冊

只需一步,快速開始

扫一扫,极速登录

查看: 1130|回復(fù): 19
打印 上一主題 下一主題
收起左側(cè)

去哪找數(shù)據(jù)?怎么挖掘?

[復(fù)制鏈接]

1392

主題

1464

帖子

5898

積分

Rank: 8Rank: 8

跳轉(zhuǎn)到指定樓層
樓主
發(fā)表于 2021-12-15 04:15:28 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式

一鍵注冊,加入手機圈

您需要 登錄 才可以下載或查看,沒有帳號?立即注冊   

x
本文轉(zhuǎn)自簡道云的知乎回答有哪些「神奇」的數(shù)據(jù)獲取方式?
已經(jīng)將網(wǎng)站匯總成表格,大家可以下載查看:【簡道云匯總】110+數(shù)據(jù)網(wǎng)站
如果你不是會爬蟲的技術(shù)流,那下面這110+網(wǎng)站可以解決你90%的數(shù)據(jù)需求。
首先,常見的公開數(shù)據(jù)網(wǎng)站在https://hao.199it.com/都可以搜索到。


除此之外,補充上面沒有的一些網(wǎng)站,一共110+,按需選擇:
金融財經(jīng)數(shù)據(jù)


  • 同花順數(shù)據(jù)中心:提供股票債券等金融數(shù)據(jù)
  • 和訊數(shù)據(jù):提供各種股票、基金、外匯、債券等實時數(shù)據(jù),有付費,有免費
  • 零壹財經(jīng):大大小小的網(wǎng)貸數(shù)據(jù)、排行榜等
  • 金融數(shù)據(jù)網(wǎng):提供每日的黃金、匯率、農(nóng)產(chǎn)品、汽油價格的相關(guān)數(shù)據(jù)
  • 蘿卜投研:提供股市、證券等數(shù)據(jù),多以數(shù)據(jù)研究報告形式展示
  • 金融界:提供股市、融資等各種資金流向數(shù)據(jù),以及豐富的財報和研報
  • 東方財富網(wǎng):提供多國的股票、財稅、行業(yè)、消費等大量豐富的經(jīng)濟(jì)數(shù)據(jù)
  • 吉林金融網(wǎng):提供吉林的融資、市場數(shù)據(jù)
  • 搜狐證券:提供貨幣、外匯、行業(yè)、市場等宏觀數(shù)據(jù)
  • CCER經(jīng)濟(jì)金融數(shù)據(jù)庫:提供企業(yè)財務(wù)年度數(shù)據(jù)、股票收益數(shù)據(jù)等數(shù)據(jù)庫下載
  • 香港金融管理局:提供香港的各種經(jīng)濟(jì)及金融數(shù)據(jù),以宏觀數(shù)據(jù)為主
  • 世紀(jì)未來:數(shù)據(jù)服務(wù)平臺,提供銀行業(yè)務(wù)研究、金融大數(shù)據(jù)等各種付費數(shù)據(jù)
  • 新浪財經(jīng):提供國內(nèi)國民經(jīng)濟(jì)、行業(yè)信息、對外經(jīng)貿(mào)、居民收入等各種宏觀的經(jīng)濟(jì)數(shù)據(jù)
  • 司爾亞司數(shù)據(jù)信息有限公司:覆蓋超過195+個國家的經(jīng)濟(jì)數(shù)據(jù)庫,數(shù)據(jù)全面但收費
  • INSEE數(shù)據(jù):法國統(tǒng)計與經(jīng)濟(jì)研究院公開數(shù)據(jù)
  • 投中研究院:提供投資領(lǐng)域的分析報告,網(wǎng)站更新頻率較高
互聯(lián)網(wǎng)數(shù)據(jù)

營銷查詢:

  • 5118 / chinaz:支持查詢網(wǎng)站排名及發(fā)展趨勢、百度收錄情況等信息
  • 百度指數(shù):百度旗下/以百度網(wǎng)民行為數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)分享平臺,支持查詢需求圖譜
  • 微信指數(shù):微信旗下/基于微信大數(shù)據(jù)分析的移動端指數(shù),打開微信→搜索“微信指數(shù)”可用
  • 移動觀象臺:基于移動設(shè)備用戶的操作行為,提供應(yīng)用、公眾號排行等,以及大量數(shù)據(jù)報告
  • 新榜/微小寶/易贊:幾款工具比較類似,支持查看公眾號排行、看公眾號人群畫像等功能
  • 阿里指數(shù):阿里旗下/反映淘寶平臺市場動向的數(shù)據(jù)分析平臺
報告分析:

  • 易觀智庫:199IT導(dǎo)航的母網(wǎng)站,權(quán)威的互聯(lián)網(wǎng)數(shù)據(jù)平臺,涵蓋戰(zhàn)略新興產(chǎn)業(yè)、電商互聯(lián)網(wǎng)、共享經(jīng)濟(jì)、社交營銷、移動互聯(lián)網(wǎng)以及其他互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)及分析報告
  • 艾瑞網(wǎng):高頻率更新互聯(lián)網(wǎng)前沿的新聞資訊、分析報告,旗下包括艾瑞指數(shù)、艾瑞咨詢等
  • 艾媒網(wǎng):艾媒與艾瑞無關(guān),艾媒網(wǎng)發(fā)布的研究報告多偏向移動互聯(lián)網(wǎng)方向
  • CBNDdata:以阿里巴巴的商業(yè)數(shù)據(jù)庫為基礎(chǔ),輸出產(chǎn)業(yè)經(jīng)濟(jì)分析報告
  • QuestMobile:周期性地發(fā)布一些關(guān)于APP的研究報告
  • 阿里研究院:阿里旗下/發(fā)布研究電商等方向趨勢的數(shù)據(jù)報告,內(nèi)容多與阿里相關(guān)
  • 360研究報告:360旗下/移動、PC、網(wǎng)站、企業(yè)、詐騙等安全領(lǐng)域的研究,以及大數(shù)據(jù)等非安全領(lǐng)域的研究
  • 中國互聯(lián)網(wǎng)信息研究中心:經(jīng)國家主管部門批準(zhǔn)組建的管理和服務(wù)機構(gòu),經(jīng)常發(fā)布一些有價值的互聯(lián)網(wǎng)信息報告
  • 中國信通院:針對互聯(lián)網(wǎng)多個行業(yè)的發(fā)展趨勢,發(fā)布白皮書,角度較為宏觀
  • 中國互聯(lián)網(wǎng)數(shù)據(jù)平臺:提供全國各地區(qū)互聯(lián)網(wǎng)發(fā)展報告、基礎(chǔ)數(shù)據(jù)及研究分析報告,數(shù)據(jù)及報告偏向?qū)W術(shù)性研究
  • 清博大數(shù)據(jù):提供微信、微博、頭條榜單數(shù)據(jù),各種研究報告、數(shù)據(jù)報告、輿情報告及行業(yè)熱點
  • 數(shù)據(jù)觀:豐富的前沿行業(yè)資訊,及部分研究報告下載
  • 騰訊大數(shù)據(jù):數(shù)據(jù)服務(wù)平臺,提供調(diào)查研究、移動互聯(lián)網(wǎng)及特色數(shù)據(jù)報告,質(zhì)量較高
  • 大數(shù)據(jù)世界:提供大數(shù)據(jù)相關(guān)資訊、應(yīng)用案例、技術(shù)方案及資料下載
地理數(shù)據(jù)

水土氣候數(shù)據(jù):

  • 水土保持生態(tài)建設(shè)網(wǎng)http://www.swcc.org.cn/
  • 黃河風(fēng)情http://www.yellowriver.org/
  • 黃河流域數(shù)據(jù)中心http://henu.geodata.cn/index.jsp
  • 黃土高原水土保護(hù)數(shù)據(jù)庫http://www.loess.csdb.cn/
  • 數(shù)字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  • 大氣科學(xué)數(shù)據(jù)庫http://data.iap.ac.cn/
  • 中國氣象科學(xué)數(shù)據(jù)http://cdc.cma.gov.cn/
  • 中國氣象科學(xué)數(shù)據(jù)共享服務(wù)網(wǎng)http://cdc.cma.gov.cn/
  • 全球森林土地覆蓋動態(tài)http://www.fao.org/gtos/gofc-gold/
  • FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林資源
  • NOAAhttp://www.noaa.gov/美國國家海洋和大氣管理局
  • NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美國國家氣候數(shù)據(jù)中心
  • 國際水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  • 氣候研究所http://www.cru.uea.ac.uk/
  • 植被覆蓋數(shù)據(jù)http://www.vgt.vito.be/
環(huán)境數(shù)據(jù):

  • 黃土區(qū)農(nóng)業(yè)與生態(tài)環(huán)境數(shù)據(jù)分中心http://loess.geodata.cn/
  • 東北黑土農(nóng)業(yè)生態(tài)數(shù)據(jù)庫http://www.blackland.csdb.cn/default.asp
  • 中國西部環(huán)境與生態(tài)科學(xué)數(shù)據(jù)中心http://westdc.westgis.ac.cn/
  • 西部數(shù)據(jù)中心http://westdc.westgis.ac.cn/data
  • 黃土高原區(qū)域數(shù)據(jù)共享運行服務(wù)中心http://loess.geodata.cn/Portal/?isCookieChecked=true
遙感數(shù)據(jù):

  • 地面站RS地圖查詢http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  • 甘肅省基礎(chǔ)地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  • 遙感數(shù)據(jù)網(wǎng)絡(luò)資源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  • 中國遙感數(shù)據(jù)網(wǎng)http://ids.ceode.ac.cn/
  • GLCF http://glcf.geodata.cn/etm/Welcome.do
  • GIS FORUM http://www.gisforum.net/全球最大的GIS中文門戶網(wǎng)站
  • 遙感數(shù)據(jù)共享http://ids.ceode.ac.cn/
其他自然人文數(shù)據(jù):

  • 地理國情監(jiān)測云平臺 http://www.dsac.cn/
  • 中國資源衛(wèi)星應(yīng)用中心 http://www.cresda.com/cn/profile.htm
  • 中國自然資源數(shù)據(jù)庫 http://www.data.ac.cn/index.asp
  • 中國科學(xué)院資源環(huán)境科學(xué)數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  • 中國地球系統(tǒng)科學(xué)數(shù)據(jù)共享網(wǎng) http://www.geodata.cn:8086/Metadata/index.jsp
  • 國家地球系統(tǒng)科學(xué)數(shù)據(jù)共享服務(wù)平臺 http://www.geodata.cn/
  • PM25.in | PM2.5(細(xì)顆粒物)及空氣質(zhì)量指數(shù)(AQI)實時查詢!:中國空氣質(zhì)量監(jiān)測實時數(shù)據(jù)http://pm25.in/
  • 國際科學(xué)數(shù)據(jù)服務(wù)平臺 http://datamirror.csdb.cn/index.jsp
  • 原始數(shù)據(jù)搜索 https://wist.echo.nasa.gov/api
  • 中國科學(xué)院資源環(huán)境科學(xué)數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  • 世界聚集人口數(shù)據(jù) http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  • 光譜數(shù)據(jù)分析網(wǎng)站 http://modis.gsfc.nasa.gov/
  • 美國航空航天局NASA http://daac.gsfc.nasa.gov/
  • 城市軌道交通http://www.ntsg.umt.edu/
  • 人地系統(tǒng)主題數(shù)據(jù)庫http://webpanda.iis.u-tokyo.ac.jp/
影像數(shù)據(jù):

  • USGS Earth Explorer:提供Landsat、MODIS等數(shù)據(jù)
  • ESA’s Sentinel Mission:提供Sentinel系列衛(wèi)星數(shù)據(jù),可以下載歐洲航天局所屬的影像數(shù)據(jù)
  • NOAA CLASS:提供高品質(zhì)大氣數(shù)據(jù)集,包括美國國防部(DoD)、極地作戰(zhàn)環(huán)境衛(wèi)星(POES)、NOAA的地球靜止環(huán)境衛(wèi)星(GOES)以及其他派生數(shù)據(jù)
  • NASA Reverb:提供多種類數(shù)據(jù),包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  • EOLi:歐洲航天局的地球觀測目錄和訂購服務(wù)的客戶,通過Java 程序下載數(shù)據(jù),支持的數(shù)據(jù)包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  • INPE:提供中巴資源衛(wèi)星數(shù)據(jù)
  • Bhuvan Indian Geo-Platform of ISRO:提供印度境內(nèi)的MS-1, Cartosat,,OceanSat and ResourceSat數(shù)據(jù)以及全球的NVDI數(shù)據(jù)、南亞國家的CartoDem Version -3R1數(shù)據(jù)和北印度洋的氣候數(shù)據(jù)
政府?dāng)?shù)據(jù)


  • 新加坡政府公開數(shù)據(jù):提供新加坡各類數(shù)據(jù)
  • 美國政府公開數(shù)據(jù):提供美國全國各類數(shù)據(jù)
  • 法國政府公開數(shù)據(jù):法國政府開放數(shù)據(jù)平臺
  • 英國政府公開數(shù)據(jù):提供英國各類數(shù)據(jù)
  • 國家數(shù)據(jù):中國國家統(tǒng)計局權(quán)威數(shù)據(jù)
  • 中國統(tǒng)計年鑒:1999年至今中國統(tǒng)計年鑒,國家統(tǒng)計局官網(wǎng),提供單頁Excel文件下載
  • 中國統(tǒng)計信息網(wǎng):全國及各級政府各年度統(tǒng)計公報、年鑒等,為收費數(shù)據(jù)
  • 年鑒汪:全國城市統(tǒng)計數(shù)據(jù)搜索引擎,瀏覽免費,下載收費
  • 倫敦市公開數(shù)據(jù):提供倫敦人口、就業(yè)、環(huán)境等各類數(shù)據(jù)
  • 國土資源部:國土資源部對外公開的信息報告
其他細(xì)分行業(yè)數(shù)據(jù)


  • 中研網(wǎng)數(shù)據(jù):提供醫(yī)療、房產(chǎn)、制造業(yè)、服務(wù)業(yè)、零售消費、車輛等全行業(yè)數(shù)據(jù)
  • 中國報告大廳:提供各行各業(yè)的基礎(chǔ)數(shù)據(jù)、調(diào)查報告、分析報告、預(yù)測報告,種類豐富
  • CADMAPPER:世界各大城市的DXF文件,原始數(shù)據(jù)源為OSM,NASA,USGS
  • 亞馬遜網(wǎng)絡(luò)服務(wù)公共數(shù)據(jù)集:跨科學(xué)云數(shù)據(jù)平臺,包含化學(xué)、生物、經(jīng)濟(jì)等多個領(lǐng)域的數(shù)據(jù)集
  • Awesome Public Datasets:Github公共數(shù)據(jù)搜集項目,自然科學(xué)、社會科學(xué)覆蓋較面,包含各個細(xì)分領(lǐng)域的數(shù)據(jù)庫資源。
  • figshare:數(shù)據(jù)分析與研究成果共享平臺。
  • 英國公開數(shù)據(jù)瀏覽工具:James Trimble制作的英國數(shù)據(jù)可視化瀏覽工具集;
  • 數(shù)據(jù)法國:法國各類數(shù)據(jù)的可視化呈現(xiàn);
  • DataEye:基于國內(nèi)游戲、汽車行業(yè)數(shù)據(jù),進(jìn)行多角度的行業(yè)調(diào)查報告撰寫發(fā)布
  • CBO中國票房:基于國內(nèi)票房數(shù)據(jù),統(tǒng)計票房排行、上座率等信息。
  • 易車指數(shù):反映國內(nèi)汽車銷售市場,為購車者或汽車從業(yè)者提供參考的數(shù)據(jù)指數(shù)
  • 高德地圖:支持實時查看國內(nèi)交通情況,此外高德周期性提供一系列數(shù)據(jù)報告
  • 房天下:提供中國指數(shù)研究院和CREIS中指數(shù)據(jù),展示國內(nèi)房地產(chǎn)數(shù)據(jù)情況
  • 藝恩:CBO中國票房數(shù)據(jù)的提供方,提供一些行業(yè)數(shù)據(jù)報告,如動漫IP價值研究報告
除去現(xiàn)成的數(shù)據(jù)源,還有一塊就是用python爬取數(shù)據(jù),這也是大數(shù)據(jù)的熱門模塊。
其實,想要快速學(xué)會python,除去一些基礎(chǔ)的理論知識外,最重要的就是項目!項目!項目!
就拿入門課程來舉例子吧,我為什么說它適合0基礎(chǔ)的呢?有3點:

  • 會把學(xué)習(xí)進(jìn)度分好,可以循序漸進(jìn)的學(xué)習(xí),不需要跳
  • 每天的時間并不需要太多,20分鐘足矣
  • 練習(xí)題足夠多和精


暫時就說這么多吧,想要學(xué)習(xí)完整的Python入門知識,在【夜曲編程】回復(fù)【免費教程】
有了數(shù)據(jù)之后,剩下的事情就是分析和展示數(shù)據(jù)了,這里介紹一下FineBI數(shù)據(jù)分析工具,如果你經(jīng)常用Excel,可以用下這個數(shù)據(jù)分析工具,能很大程度上提高效率。
FineBI工具在這里:


數(shù)據(jù)分析工具,操作非常簡單,設(shè)計頁面類excel,直接拖拽數(shù)據(jù)字段就能生成圖表。可選擇的圖表類型非常多,有很多創(chuàng)意十足的圖表令人眼前一亮,系統(tǒng)自帶的配色方案也好看。進(jìn)階一點的話,還可以拿來制作Dashboard。


主要面對的是業(yè)務(wù)人員,不懂編程的也可快速上手,根據(jù)自己需求設(shè)計出儀表板來進(jìn)行分析,不再麻煩技術(shù)人員去一個個要需求,浪費時間不說,還不能做出自己想要的效果。自己分析得出想要的結(jié)果,最終幫助企業(yè)做出正確的經(jīng)營決策。它的可視化效果也是非常不錯的。





-----------------------------
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

32

帖子

2

積分

Rank: 1

沙發(fā)
發(fā)表于 2021-12-15 06:47:53 | 只看該作者
本文轉(zhuǎn)自簡道云的知乎回答有哪些「神奇」的數(shù)據(jù)獲取方式?
已經(jīng)將網(wǎng)站匯總成表格,大家可以下載查看:【簡道云匯總】110+數(shù)據(jù)網(wǎng)站
如果你不是會爬蟲的技術(shù)流,那下面這110+網(wǎng)站可以解決你90%的數(shù)據(jù)需求。
首先,常見的公開數(shù)據(jù)網(wǎng)站在https://hao.199it.com/都可以搜索到。


除此之外,補充上面沒有的一些網(wǎng)站,一共110+,按需選擇:
金融財經(jīng)數(shù)據(jù)


  • 同花順數(shù)據(jù)中心:提供股票債券等金融數(shù)據(jù)
  • 和訊數(shù)據(jù):提供各種股票、基金、外匯、債券等實時數(shù)據(jù),有付費,有免費
  • 零壹財經(jīng):大大小小的網(wǎng)貸數(shù)據(jù)、排行榜等
  • 金融數(shù)據(jù)網(wǎng):提供每日的黃金、匯率、農(nóng)產(chǎn)品、汽油價格的相關(guān)數(shù)據(jù)
  • 蘿卜投研:提供股市、證券等數(shù)據(jù),多以數(shù)據(jù)研究報告形式展示
  • 金融界:提供股市、融資等各種資金流向數(shù)據(jù),以及豐富的財報和研報
  • 東方財富網(wǎng):提供多國的股票、財稅、行業(yè)、消費等大量豐富的經(jīng)濟(jì)數(shù)據(jù)
  • 吉林金融網(wǎng):提供吉林的融資、市場數(shù)據(jù)
  • 搜狐證券:提供貨幣、外匯、行業(yè)、市場等宏觀數(shù)據(jù)
  • CCER經(jīng)濟(jì)金融數(shù)據(jù)庫:提供企業(yè)財務(wù)年度數(shù)據(jù)、股票收益數(shù)據(jù)等數(shù)據(jù)庫下載
  • 香港金融管理局:提供香港的各種經(jīng)濟(jì)及金融數(shù)據(jù),以宏觀數(shù)據(jù)為主
  • 世紀(jì)未來:數(shù)據(jù)服務(wù)平臺,提供銀行業(yè)務(wù)研究、金融大數(shù)據(jù)等各種付費數(shù)據(jù)
  • 新浪財經(jīng):提供國內(nèi)國民經(jīng)濟(jì)、行業(yè)信息、對外經(jīng)貿(mào)、居民收入等各種宏觀的經(jīng)濟(jì)數(shù)據(jù)
  • 司爾亞司數(shù)據(jù)信息有限公司:覆蓋超過195+個國家的經(jīng)濟(jì)數(shù)據(jù)庫,數(shù)據(jù)全面但收費
  • INSEE數(shù)據(jù):法國統(tǒng)計與經(jīng)濟(jì)研究院公開數(shù)據(jù)
  • 投中研究院:提供投資領(lǐng)域的分析報告,網(wǎng)站更新頻率較高
互聯(lián)網(wǎng)數(shù)據(jù)

營銷查詢:

  • 5118 / chinaz:支持查詢網(wǎng)站排名及發(fā)展趨勢、百度收錄情況等信息
  • 百度指數(shù):百度旗下/以百度網(wǎng)民行為數(shù)據(jù)為基礎(chǔ)的數(shù)據(jù)分享平臺,支持查詢需求圖譜
  • 微信指數(shù):微信旗下/基于微信大數(shù)據(jù)分析的移動端指數(shù),打開微信→搜索“微信指數(shù)”可用
  • 移動觀象臺:基于移動設(shè)備用戶的操作行為,提供應(yīng)用、公眾號排行等,以及大量數(shù)據(jù)報告
  • 新榜/微小寶/易贊:幾款工具比較類似,支持查看公眾號排行、看公眾號人群畫像等功能
  • 阿里指數(shù):阿里旗下/反映淘寶平臺市場動向的數(shù)據(jù)分析平臺
報告分析:

  • 易觀智庫:199IT導(dǎo)航的母網(wǎng)站,權(quán)威的互聯(lián)網(wǎng)數(shù)據(jù)平臺,涵蓋戰(zhàn)略新興產(chǎn)業(yè)、電商互聯(lián)網(wǎng)、共享經(jīng)濟(jì)、社交營銷、移動互聯(lián)網(wǎng)以及其他互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)及分析報告
  • 艾瑞網(wǎng):高頻率更新互聯(lián)網(wǎng)前沿的新聞資訊、分析報告,旗下包括艾瑞指數(shù)、艾瑞咨詢等
  • 艾媒網(wǎng):艾媒與艾瑞無關(guān),艾媒網(wǎng)發(fā)布的研究報告多偏向移動互聯(lián)網(wǎng)方向
  • CBNDdata:以阿里巴巴的商業(yè)數(shù)據(jù)庫為基礎(chǔ),輸出產(chǎn)業(yè)經(jīng)濟(jì)分析報告
  • QuestMobile:周期性地發(fā)布一些關(guān)于APP的研究報告
  • 阿里研究院:阿里旗下/發(fā)布研究電商等方向趨勢的數(shù)據(jù)報告,內(nèi)容多與阿里相關(guān)
  • 360研究報告:360旗下/移動、PC、網(wǎng)站、企業(yè)、詐騙等安全領(lǐng)域的研究,以及大數(shù)據(jù)等非安全領(lǐng)域的研究
  • 中國互聯(lián)網(wǎng)信息研究中心:經(jīng)國家主管部門批準(zhǔn)組建的管理和服務(wù)機構(gòu),經(jīng)常發(fā)布一些有價值的互聯(lián)網(wǎng)信息報告
  • 中國信通院:針對互聯(lián)網(wǎng)多個行業(yè)的發(fā)展趨勢,發(fā)布白皮書,角度較為宏觀
  • 中國互聯(lián)網(wǎng)數(shù)據(jù)平臺:提供全國各地區(qū)互聯(lián)網(wǎng)發(fā)展報告、基礎(chǔ)數(shù)據(jù)及研究分析報告,數(shù)據(jù)及報告偏向?qū)W術(shù)性研究
  • 清博大數(shù)據(jù):提供微信、微博、頭條榜單數(shù)據(jù),各種研究報告、數(shù)據(jù)報告、輿情報告及行業(yè)熱點
  • 數(shù)據(jù)觀:豐富的前沿行業(yè)資訊,及部分研究報告下載
  • 騰訊大數(shù)據(jù):數(shù)據(jù)服務(wù)平臺,提供調(diào)查研究、移動互聯(lián)網(wǎng)及特色數(shù)據(jù)報告,質(zhì)量較高
  • 大數(shù)據(jù)世界:提供大數(shù)據(jù)相關(guān)資訊、應(yīng)用案例、技術(shù)方案及資料下載
地理數(shù)據(jù)

水土氣候數(shù)據(jù):

  • 水土保持生態(tài)建設(shè)網(wǎng)http://www.swcc.org.cn/
  • 黃河風(fēng)情http://www.yellowriver.org/
  • 黃河流域數(shù)據(jù)中心http://henu.geodata.cn/index.jsp
  • 黃土高原水土保護(hù)數(shù)據(jù)庫http://www.loess.csdb.cn/
  • 數(shù)字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  • 大氣科學(xué)數(shù)據(jù)庫http://data.iap.ac.cn/
  • 中國氣象科學(xué)數(shù)據(jù)http://cdc.cma.gov.cn/
  • 中國氣象科學(xué)數(shù)據(jù)共享服務(wù)網(wǎng)http://cdc.cma.gov.cn/
  • 全球森林土地覆蓋動態(tài)http://www.fao.org/gtos/gofc-gold/
  • FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林資源
  • NOAAhttp://www.noaa.gov/美國國家海洋和大氣管理局
  • NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美國國家氣候數(shù)據(jù)中心
  • 國際水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  • 氣候研究所http://www.cru.uea.ac.uk/
  • 植被覆蓋數(shù)據(jù)http://www.vgt.vito.be/
環(huán)境數(shù)據(jù):

  • 黃土區(qū)農(nóng)業(yè)與生態(tài)環(huán)境數(shù)據(jù)分中心http://loess.geodata.cn/
  • 東北黑土農(nóng)業(yè)生態(tài)數(shù)據(jù)庫http://www.blackland.csdb.cn/default.asp
  • 中國西部環(huán)境與生態(tài)科學(xué)數(shù)據(jù)中心http://westdc.westgis.ac.cn/
  • 西部數(shù)據(jù)中心http://westdc.westgis.ac.cn/data
  • 黃土高原區(qū)域數(shù)據(jù)共享運行服務(wù)中心http://loess.geodata.cn/Portal/?isCookieChecked=true
遙感數(shù)據(jù):

  • 地面站RS地圖查詢http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  • 甘肅省基礎(chǔ)地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  • 遙感數(shù)據(jù)網(wǎng)絡(luò)資源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  • 中國遙感數(shù)據(jù)網(wǎng)http://ids.ceode.ac.cn/
  • GLCF http://glcf.geodata.cn/etm/Welcome.do
  • GIS FORUM http://www.gisforum.net/全球最大的GIS中文門戶網(wǎng)站
  • 遙感數(shù)據(jù)共享http://ids.ceode.ac.cn/
其他自然人文數(shù)據(jù):

  • 地理國情監(jiān)測云平臺 http://www.dsac.cn/
  • 中國資源衛(wèi)星應(yīng)用中心 http://www.cresda.com/cn/profile.htm
  • 中國自然資源數(shù)據(jù)庫 http://www.data.ac.cn/index.asp
  • 中國科學(xué)院資源環(huán)境科學(xué)數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  • 中國地球系統(tǒng)科學(xué)數(shù)據(jù)共享網(wǎng) http://www.geodata.cn:8086/Metadata/index.jsp
  • 國家地球系統(tǒng)科學(xué)數(shù)據(jù)共享服務(wù)平臺 http://www.geodata.cn/
  • PM25.in | PM2.5(細(xì)顆粒物)及空氣質(zhì)量指數(shù)(AQI)實時查詢!:中國空氣質(zhì)量監(jiān)測實時數(shù)據(jù)http://pm25.in/
  • 國際科學(xué)數(shù)據(jù)服務(wù)平臺 http://datamirror.csdb.cn/index.jsp
  • 原始數(shù)據(jù)搜索 https://wist.echo.nasa.gov/api
  • 中國科學(xué)院資源環(huán)境科學(xué)數(shù)據(jù)中心 http://www.resdc.cn/resdc/first.asp
  • 世界聚集人口數(shù)據(jù) http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  • 光譜數(shù)據(jù)分析網(wǎng)站 http://modis.gsfc.nasa.gov/
  • 美國航空航天局NASA http://daac.gsfc.nasa.gov/
  • 城市軌道交通http://www.ntsg.umt.edu/
  • 人地系統(tǒng)主題數(shù)據(jù)庫http://webpanda.iis.u-tokyo.ac.jp/
影像數(shù)據(jù):

  • USGS Earth Explorer:提供Landsat、MODIS等數(shù)據(jù)
  • ESA’s Sentinel Mission:提供Sentinel系列衛(wèi)星數(shù)據(jù),可以下載歐洲航天局所屬的影像數(shù)據(jù)
  • NOAA CLASS:提供高品質(zhì)大氣數(shù)據(jù)集,包括美國國防部(DoD)、極地作戰(zhàn)環(huán)境衛(wèi)星(POES)、NOAA的地球靜止環(huán)境衛(wèi)星(GOES)以及其他派生數(shù)據(jù)
  • NASA Reverb:提供多種類數(shù)據(jù),包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  • EOLi:歐洲航天局的地球觀測目錄和訂購服務(wù)的客戶,通過Java 程序下載數(shù)據(jù),支持的數(shù)據(jù)包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  • INPE:提供中巴資源衛(wèi)星數(shù)據(jù)
  • Bhuvan Indian Geo-Platform of ISRO:提供印度境內(nèi)的MS-1, Cartosat,,OceanSat and ResourceSat數(shù)據(jù)以及全球的NVDI數(shù)據(jù)、南亞國家的CartoDem Version -3R1數(shù)據(jù)和北印度洋的氣候數(shù)據(jù)
政府?dāng)?shù)據(jù)


  • 新加坡政府公開數(shù)據(jù):提供新加坡各類數(shù)據(jù)
  • 美國政府公開數(shù)據(jù):提供美國全國各類數(shù)據(jù)
  • 法國政府公開數(shù)據(jù):法國政府開放數(shù)據(jù)平臺
  • 英國政府公開數(shù)據(jù):提供英國各類數(shù)據(jù)
  • 國家數(shù)據(jù):中國國家統(tǒng)計局權(quán)威數(shù)據(jù)
  • 中國統(tǒng)計年鑒:1999年至今中國統(tǒng)計年鑒,國家統(tǒng)計局官網(wǎng),提供單頁Excel文件下載
  • 中國統(tǒng)計信息網(wǎng):全國及各級政府各年度統(tǒng)計公報、年鑒等,為收費數(shù)據(jù)
  • 年鑒汪:全國城市統(tǒng)計數(shù)據(jù)搜索引擎,瀏覽免費,下載收費
  • 倫敦市公開數(shù)據(jù):提供倫敦人口、就業(yè)、環(huán)境等各類數(shù)據(jù)
  • 國土資源部:國土資源部對外公開的信息報告
其他細(xì)分行業(yè)數(shù)據(jù)


  • 中研網(wǎng)數(shù)據(jù):提供醫(yī)療、房產(chǎn)、制造業(yè)、服務(wù)業(yè)、零售消費、車輛等全行業(yè)數(shù)據(jù)
  • 中國報告大廳:提供各行各業(yè)的基礎(chǔ)數(shù)據(jù)、調(diào)查報告、分析報告、預(yù)測報告,種類豐富
  • CADMAPPER:世界各大城市的DXF文件,原始數(shù)據(jù)源為OSM,NASA,USGS
  • 亞馬遜網(wǎng)絡(luò)服務(wù)公共數(shù)據(jù)集:跨科學(xué)云數(shù)據(jù)平臺,包含化學(xué)、生物、經(jīng)濟(jì)等多個領(lǐng)域的數(shù)據(jù)集
  • Awesome Public Datasets:Github公共數(shù)據(jù)搜集項目,自然科學(xué)、社會科學(xué)覆蓋較面,包含各個細(xì)分領(lǐng)域的數(shù)據(jù)庫資源。
  • figshare:數(shù)據(jù)分析與研究成果共享平臺。
  • 英國公開數(shù)據(jù)瀏覽工具:James Trimble制作的英國數(shù)據(jù)可視化瀏覽工具集;
  • 數(shù)據(jù)法國:法國各類數(shù)據(jù)的可視化呈現(xiàn);
  • DataEye:基于國內(nèi)游戲、汽車行業(yè)數(shù)據(jù),進(jìn)行多角度的行業(yè)調(diào)查報告撰寫發(fā)布
  • CBO中國票房:基于國內(nèi)票房數(shù)據(jù),統(tǒng)計票房排行、上座率等信息。
  • 易車指數(shù):反映國內(nèi)汽車銷售市場,為購車者或汽車從業(yè)者提供參考的數(shù)據(jù)指數(shù)
  • 高德地圖:支持實時查看國內(nèi)交通情況,此外高德周期性提供一系列數(shù)據(jù)報告
  • 房天下:提供中國指數(shù)研究院和CREIS中指數(shù)據(jù),展示國內(nèi)房地產(chǎn)數(shù)據(jù)情況
  • 藝恩:CBO中國票房數(shù)據(jù)的提供方,提供一些行業(yè)數(shù)據(jù)報告,如動漫IP價值研究報告
除去現(xiàn)成的數(shù)據(jù)源,還有一塊就是用python爬取數(shù)據(jù),這也是大數(shù)據(jù)的熱門模塊。
其實,想要快速學(xué)會python,除去一些基礎(chǔ)的理論知識外,最重要的就是項目!項目!項目!
就拿入門課程來舉例子吧,我為什么說它適合0基礎(chǔ)的呢?有3點:

  • 會把學(xué)習(xí)進(jìn)度分好,可以循序漸進(jìn)的學(xué)習(xí),不需要跳
  • 每天的時間并不需要太多,20分鐘足矣
  • 練習(xí)題足夠多和精


暫時就說這么多吧,想要學(xué)習(xí)完整的Python入門知識,在【夜曲編程】回復(fù)【免費教程】
有了數(shù)據(jù)之后,剩下的事情就是分析和展示數(shù)據(jù)了,這里介紹一下FineBI數(shù)據(jù)分析工具,如果你經(jīng)常用Excel,可以用下這個數(shù)據(jù)分析工具,能很大程度上提高效率。
FineBI工具在這里:
FineBI商業(yè)智能軟件 - 新一代自助大數(shù)據(jù)分析的BI工具

數(shù)據(jù)分析工具,操作非常簡單,設(shè)計頁面類excel,直接拖拽數(shù)據(jù)字段就能生成圖表??蛇x擇的圖表類型非常多,有很多創(chuàng)意十足的圖表令人眼前一亮,系統(tǒng)自帶的配色方案也好看。進(jìn)階一點的話,還可以拿來制作Dashboard。


主要面對的是業(yè)務(wù)人員,不懂編程的也可快速上手,根據(jù)自己需求設(shè)計出儀表板來進(jìn)行分析,不再麻煩技術(shù)人員去一個個要需求,浪費時間不說,還不能做出自己想要的效果。自己分析得出想要的結(jié)果,最終幫助企業(yè)做出正確的經(jīng)營決策。它的可視化效果也是非常不錯的。




FineBI商業(yè)智能軟件 - 新一代自助大數(shù)據(jù)分析的BI工具
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

26

帖子

3

積分

Rank: 1

板凳
發(fā)表于 2021-12-15 08:42:45 | 只看該作者
答主整理了一些主流、免費、省力獲取數(shù)據(jù)的網(wǎng)站,推薦給大家。
一、中華人民共和國國家統(tǒng)計局>>國家數(shù)據(jù)
網(wǎng)址:http://data.stats.gov.cn/
主要包含:國民經(jīng)濟(jì)、人口、對外經(jīng)濟(jì)貿(mào)易、能源、財政、價格、農(nóng)業(yè)、工業(yè)、運輸、旅游、教育、科技、衛(wèi)生等數(shù)據(jù),可以按年度、季度、月度查詢。
可以免費下載


另外在國際數(shù)據(jù)目錄下,有“各國數(shù)據(jù)”,這里鏈接了各個國家的權(quán)威統(tǒng)計網(wǎng)站哦,善于科學(xué)上網(wǎng),你就可以擁有這些數(shù)據(jù)!


二、世界銀行——各國發(fā)展數(shù)據(jù)
網(wǎng)址:https://data.worldbank.org.cn/ (cn域名的外國網(wǎng)站哦,不需科學(xué)上網(wǎng),就能暢快瀏覽)
主要包含:各國相關(guān)的發(fā)展數(shù)據(jù),而且資金等數(shù)據(jù)有多個維度可以查看。
數(shù)據(jù)可以免費下載


點擊數(shù)據(jù)目錄,就可以查看并下載相關(guān)數(shù)據(jù)啦。




以上,如果大家有關(guān)注B站的可視化作品的話,就會發(fā)現(xiàn),90%UP主所使用的數(shù)據(jù),都來自上面兩個網(wǎng)站。


三、GitHub——高質(zhì)量公共數(shù)據(jù)集
網(wǎng)址:https://github.com/awesomedata/awesome-public-datasets
主要包含:農(nóng)業(yè)、生物、計算機、天氣、經(jīng)濟(jì)學(xué)、博物館、機器學(xué)習(xí)等你能想到的幾乎所有數(shù)據(jù)
大部分免費,部分收費
隨便截個目錄,給大家感受一下。


四、其他
國內(nèi)也有很多企業(yè)數(shù)據(jù)交易的網(wǎng)站,但大多收費,Kaggle平臺上數(shù)據(jù)比較干凈也免費,但是需要會點代碼。
所以答主建議大家,如果僅是個人研究分析用的話,從上面三個網(wǎng)站上獲取主要數(shù)據(jù)就可以了。
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

54

帖子

3

積分

Rank: 1

地板
發(fā)表于 2021-12-15 10:13:06 | 只看該作者
今天有個事情震驚到我了,某家公司為了找到在外部平臺發(fā)帖的員工,直接爬取另一家公司的數(shù)據(jù)?
拼多多的HR親自告訴大家數(shù)據(jù)獲取的一種方式,這年頭,如果不會爬取數(shù)據(jù)還不能做HR了?
內(nèi)卷就是這么來的吧。


這數(shù)據(jù)可真有意思,比各種報告來的充實多了。
言歸正傳,還是要看一下數(shù)據(jù)的獲取方式的,這也是做數(shù)據(jù)分析的基礎(chǔ)。
一、怎么找數(shù)據(jù)?

  • 搜索引擎,不多說,有啥事搜就完事了
  • 一些不能被搜索工具搜到的東西,比如某信、某條
  • 人脈數(shù)據(jù),其實也就是信息差
  • 公開數(shù)據(jù),這個后面會提到
二、怎么看待數(shù)據(jù)?
并不是有了數(shù)據(jù)就能直接用的,你得去看看能不能用,準(zhǔn)確性怎么樣,不然好不容易分析好一個東西,到頭來告訴你數(shù)據(jù)不對。
一個圖總結(jié)一下吧:


三、數(shù)據(jù)不準(zhǔn)確怎么辦?
就像上面說的,不是所有的數(shù)據(jù)都是準(zhǔn)確的,所以自己對各種數(shù)據(jù)需要有一個鑒別的能力,同時也有外部搜索的能力,看看能不能對上,不要怕麻煩。
好比數(shù)據(jù)分析或者數(shù)據(jù)分析師的價值,其實不是具體的數(shù)字,而是對于某個業(yè)務(wù)的總體趨勢判斷和結(jié)合外部數(shù)據(jù)進(jìn)行綜合分析、理解。
四、常用的數(shù)據(jù)源
1、官方統(tǒng)計數(shù)據(jù):
中國信通院-研究成果-權(quán)威發(fā)布-白皮書
中國經(jīng)濟(jì)信息網(wǎng)
2、咨詢公司報告:
波士頓咨詢
貝恩咨詢
艾瑞咨詢
3、數(shù)據(jù)分析:
頭條指數(shù)
百度統(tǒng)計
4、第三方機構(gòu):
阿里研究院
IT桔子
騰訊大數(shù)據(jù)
199IT
易觀數(shù)據(jù)
5、媒體數(shù)據(jù):
36氪研究院
總結(jié):
就說到這里,不用太多,完全夠用了,以上內(nèi)容由李啟方整理創(chuàng)作。
數(shù)據(jù)獲取之后,可以用FineBI進(jìn)行分析:


                               
登錄/注冊后可看大圖
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

48

帖子

3

積分

Rank: 1

5
發(fā)表于 2021-12-15 12:27:22 | 只看該作者
數(shù)據(jù)來源主要有兩個部分。

  • 一些數(shù)據(jù)源網(wǎng)站公開的數(shù)據(jù)。
  • 通過爬取工具對網(wǎng)頁中的數(shù)據(jù)進(jìn)行爬取。
爬蟲作為目前用的較多的數(shù)據(jù)爬取方法已經(jīng)有很多教程了,但是對于沒有代碼基礎(chǔ)的朋友來說短期上手python還是很難得。
因此今天就帆軟君分別給大家介紹一下免費的數(shù)據(jù)源網(wǎng)站和一些零基礎(chǔ)小白也可以應(yīng)用的數(shù)據(jù)爬取工具
一、行業(yè)數(shù)據(jù)

互聯(lián)網(wǎng)數(shù)據(jù)

  • 易觀智庫:199IT導(dǎo)航的母網(wǎng)站,權(quán)威的互聯(lián)網(wǎng)數(shù)據(jù)平臺,涵蓋戰(zhàn)略新興產(chǎn)業(yè)、電商互聯(lián)網(wǎng)、共享經(jīng)濟(jì)、社交營銷、移動互聯(lián)網(wǎng)以及其他互聯(lián)網(wǎng)服務(wù)的數(shù)據(jù)及分析報告
  • 艾瑞網(wǎng):高頻率更新互聯(lián)網(wǎng)前沿的新聞資訊、分析報告,旗下包括艾瑞指數(shù)、艾瑞咨詢等
  • 艾媒網(wǎng):艾媒與艾瑞無關(guān),艾媒網(wǎng)發(fā)布的研究報告多偏向移動互聯(lián)網(wǎng)方向
  • CBNDdata:以阿里巴巴的商業(yè)數(shù)據(jù)庫為基礎(chǔ),輸出產(chǎn)業(yè)經(jīng)濟(jì)分析報告
  • QuestMobile:周期性地發(fā)布一些關(guān)于APP的研究報告
  • 阿里研究院:阿里旗下/發(fā)布研究電商等方向趨勢的數(shù)據(jù)報告,內(nèi)容多與阿里相關(guān)
  • 360研究報告:360旗下/移動、PC、網(wǎng)站、企業(yè)、詐騙等安全領(lǐng)域的研究,以及大數(shù)據(jù)等非安全領(lǐng)域的研究
  • 中國互聯(lián)網(wǎng)信息研究中心:經(jīng)國家主管部門批準(zhǔn)組建的管理和服務(wù)機構(gòu),經(jīng)常發(fā)布一些有價值的互聯(lián)網(wǎng)信息報告
  • 中國信通院:針對互聯(lián)網(wǎng)多個行業(yè)的發(fā)展趨勢,發(fā)布白皮書,角度較為宏觀
  • 中國互聯(lián)網(wǎng)數(shù)據(jù)平臺:提供全國各地區(qū)互聯(lián)網(wǎng)發(fā)展報告、基礎(chǔ)數(shù)據(jù)及研究分析報告,數(shù)據(jù)及報告偏向?qū)W術(shù)性研究
  • 清博大數(shù)據(jù):提供微信、微博、頭條榜單數(shù)據(jù),各種研究報告、數(shù)據(jù)報告、輿情報告及行業(yè)熱點
  • 數(shù)據(jù)觀:豐富的前沿行業(yè)資訊,及部分研究報告下載
  • 騰訊大數(shù)據(jù):數(shù)據(jù)服務(wù)平臺,提供調(diào)查研究、移動互聯(lián)網(wǎng)及特色數(shù)據(jù)報告,質(zhì)量較高
  • 大數(shù)據(jù)世界:提供大數(shù)據(jù)相關(guān)資訊、應(yīng)用案例、技術(shù)方案及資料下載
二、免費的數(shù)據(jù)源網(wǎng)站

1、簡單、公開的數(shù)據(jù)集
先分享一些科研機構(gòu)、企業(yè)、政府會開放的一些數(shù)據(jù)集和一些專業(yè)的數(shù)據(jù)下載網(wǎng)站。這些數(shù)據(jù)集一般都比較完善、質(zhì)量相對較高,拿到手?jǐn)?shù)據(jù)清洗的工作比較少,適合新手做一些簡單基礎(chǔ)的分析
1)中國統(tǒng)計信息網(wǎng):http://www.tjcn.org/
全國各級政府各年度的國民經(jīng)濟(jì)和社會發(fā)展統(tǒng)計信息,部分?jǐn)?shù)據(jù)免費
2)國家統(tǒng)計局:http://www.stats.gov.cn/
各種民生相關(guān)的統(tǒng)計數(shù)據(jù),而且所有數(shù)據(jù)都是免費,而且這個網(wǎng)站的友情鏈接里還有很多其他地方的數(shù)據(jù)以及國外數(shù)據(jù)


3)中國產(chǎn)業(yè)信息網(wǎng):http://www.chyxx.com/data/
包含了各個行業(yè)相關(guān)的數(shù)據(jù),所有的數(shù)據(jù)全部免費,做行業(yè)分析經(jīng)常用到的


4)美國政府公開數(shù)據(jù):https://www.data.gov/
美國政府公開數(shù)據(jù)的網(wǎng)站,包含了經(jīng)濟(jì)、消費、教育、醫(yī)療、農(nóng)業(yè)等多個領(lǐng)域的數(shù)據(jù)
5)世界銀行:https://data.worldbank.org/
世界銀行的開放數(shù)據(jù)。平臺還提供了一些工具,比如開放數(shù)據(jù)目錄,世界發(fā)展指數(shù),教育指數(shù)等。
6)百度數(shù)據(jù)開放平臺:https://open.baidu.com/open/#/open


7)國云數(shù)據(jù)市場:http://www.moojnn.com/data-market/
主要包含:生活服務(wù)、教育、能源、建筑、交通運輸、政府、金融、農(nóng)業(yè)、醫(yī)療、衛(wèi)生等行業(yè)的數(shù)據(jù),大部分免費,有些需要付費


2、數(shù)據(jù)可視化項目數(shù)據(jù)集
最常見的數(shù)據(jù)可視化項目就是制作某某地區(qū)人均收入?yún)^(qū)別的信息圖,找數(shù)據(jù)可視化項目相關(guān)的數(shù)據(jù)集的時候,我們希望數(shù)據(jù)集盡量“干凈”,減少數(shù)據(jù)清洗的工作,數(shù)據(jù)要足夠有趣,能夠支撐起豐富的圖表,所以這類的數(shù)據(jù)可以去上面我的說一些公開數(shù)據(jù)網(wǎng)站找,另外我也列一些除了政府網(wǎng)站之外的相關(guān)網(wǎng)站:
1)FiveThirtyEight:http://fivethirtyeight.com/
這是互動式新聞與體育賽事的網(wǎng)站,網(wǎng)站中會發(fā)布許多數(shù)據(jù)相關(guān)的文章,這些文章中會把使用到的數(shù)據(jù)集發(fā)布在github上,除了獲取數(shù)據(jù)集,你還可以參考別人的項目過程
2)Socrata OpenData:https://opendata.socrata.com/
Socrata OpenData 網(wǎng)站包含多個清洗后的數(shù)據(jù)集,可以直接在瀏覽器中查看,也可以下載到本地進(jìn)行可視化,大部分?jǐn)?shù)據(jù)來源于美國政府。
3、數(shù)據(jù)建模、機器學(xué)習(xí)的數(shù)據(jù)集
1)UCI:https://archive.ics.uci.edu/ml/datasets.html
UCI是加州大學(xué)歐文分校開放的經(jīng)典數(shù)據(jù)集,是機器學(xué)習(xí)領(lǐng)域最有名的數(shù)據(jù)存儲庫。包含各種數(shù)據(jù)集,比如經(jīng)典的泰坦尼克號幸存預(yù)測到最新的數(shù)據(jù)(如空氣質(zhì)量和GPS軌跡)。
2)阿里天池:https://tianchi.aliyun.com/
作為國內(nèi)互聯(lián)網(wǎng)龍頭阿里巴巴旗下的大數(shù)據(jù)競賽網(wǎng)站,提供了很多比賽數(shù)據(jù)集可以練手,說不定還能順手拿個獎,賺點獎金


3)Kaggle:https://www.kaggle.com/datasets
Kaggle 是一個舉辦了多項機器學(xué)習(xí)競賽的數(shù)據(jù)科學(xué)社區(qū)。用戶可以自己上傳數(shù)據(jù)集,也可以通過某項競賽下載數(shù)據(jù)集,里面有不少別的平臺找不到的有趣數(shù)據(jù)集。


4)科賽網(wǎng):https://www.kesci.com/home/project
這個網(wǎng)站提供了不少數(shù)據(jù)集可以免費下載,而且還有一些數(shù)據(jù)項目的比賽,不過整體來說項目的難度比較低,獎金也不是很多,學(xué)生參加的比較多,反正單純用來獲取數(shù)據(jù)集還是很不錯的


5)Quandl
這是一個包含經(jīng)濟(jì)與金融數(shù)據(jù)的倉庫。其中的部分信息是免費的,但是大部分?jǐn)?shù)據(jù)集需要購買,數(shù)據(jù)可以用來構(gòu)建經(jīng)濟(jì)指標(biāo)預(yù)測或者股價分析模型等等。



4、大型數(shù)據(jù)集
有時候你可能只是想找一些大型的數(shù)據(jù)集來進(jìn)行分析,分析的結(jié)果可能并不重要,重要的只是對于數(shù)據(jù)的讀取與分析過程,練習(xí)數(shù)據(jù)處理能力,這里我也列舉幾個用的比較多的網(wǎng)站:
1)AWS 公開數(shù)據(jù)集:https://www.amazon.com/aws
亞馬遜在其 Amazon Web Services 中提供了一些大型數(shù)據(jù)集可以免費下載,不過你得注冊一個aws賬戶,新用戶有免費訪問的權(quán)限




2)Google 公開數(shù)據(jù)集:https://cloud.google.com/bigquery/public-data/
Google提供了一些數(shù)據(jù)集作為其Big Query工具的一部分。包括 GitHub 公共資料庫的數(shù)據(jù),Hacker News 的所有故事和評論。
3)Youtube標(biāo)簽視頻數(shù)據(jù)集:https://research.google.com/youtube8m/
Youtube標(biāo)簽視頻數(shù)據(jù)集包括來自4800個可視化實體的800萬個YouTube視頻ID和相關(guān)標(biāo)簽。它具有數(shù)十億幀的預(yù)計算的、最先進(jìn)的視覺功能。




三、數(shù)據(jù)爬取工具

1、Microsoft Excel
沒錯, Excel可以用來做數(shù)據(jù)爬取。雖然很多知道Excel可以用來做數(shù)據(jù)分析,但很少有人知道它還能用來爬數(shù)
2、火車頭采集器
官網(wǎng)地址:http://www.locoy.com/
火車頭是爬蟲界的元老了,是目前使用人數(shù)最多的互聯(lián)網(wǎng)數(shù)據(jù)抓取軟件。它的優(yōu)勢是采集不限網(wǎng)頁,不限內(nèi)容,同時還是分布式采集,效率會高一些。不過它規(guī)則和操作設(shè)置在我看來有一些死板,對小白用戶來說上手也有點困難,需要有一定的網(wǎng)頁知識基礎(chǔ)
3、Google Sheet
使用Google Sheet爬取數(shù)據(jù)前,要保證三點:使用Chrome瀏覽器、擁有Google賬號、電腦已翻墻。
4、八爪魚采集器
網(wǎng)站:https://www.bazhuayu.com/
八爪魚采集器是用過最簡單易用的采集器,很適合新手使用。采集原理類似火車頭采集器,用戶設(shè)定抓取規(guī)則,軟件執(zhí)行。八爪魚的優(yōu)點是提供了常見抓取網(wǎng)站的模板,如果不會寫規(guī)則, 就直接用套用模板就好了。
它是基于瀏覽器內(nèi)核實現(xiàn)可視化抓取數(shù)據(jù),所以存在卡頓、采集數(shù)據(jù)慢的現(xiàn)象。不過整體來說還是不錯的,畢竟能基本滿足新手在短時間抓取數(shù)據(jù)的場景,比如翻頁查詢,Ajax 動態(tài)加載數(shù)據(jù)等。
5、GooSeeker 集搜客
網(wǎng)站:https://www.gooseeker.com/
集搜客也是一款容易上手的可視化采集數(shù)據(jù)工具。同樣能抓取動態(tài)網(wǎng)頁,也支持可以抓取手機網(wǎng)站上的數(shù)據(jù),還支持抓取在指數(shù)圖表上懸浮顯示的數(shù)據(jù)。集搜客是以瀏覽器插件形式抓取數(shù)據(jù)。雖然具有前面所述的優(yōu)點,但缺點也有,無法多線程采集數(shù)據(jù),出現(xiàn)瀏覽器卡頓也在所難免。
6、WebScraper
網(wǎng)址:https://webscraper.io/
WebScraper 是一款優(yōu)秀國外的瀏覽器插件。同樣也是一款適合新手抓取數(shù)據(jù)的可視化工具。我們通過簡單設(shè)置一些抓取規(guī)則,剩下的就交給瀏覽器去工作。
7、Scrapinghub
地址:https://scrapinghub.com/
如果你想抓取國外的網(wǎng)站數(shù)據(jù),可以考慮 Scrapinghub。它是一個基于Python 的 Scrapy 框架的云爬蟲平臺,安裝和部署挺簡單的,但是操作界面是純英文的,不太友好,而且性價比不高,它提供的每個工具都是單獨收費的。
其實任何數(shù)據(jù)來源,看是一方面,分析也是一方面,如果要有分析的話,那就離不開一些可以自主使用的數(shù)據(jù)分析工具。
如果數(shù)據(jù)不簡單,數(shù)據(jù)量也很大,還有不少的數(shù)據(jù)處理工作,甚至你還想要一些酷炫的可視化效果,簡單快速上手,不妨用一些在線的圖表工具,但是前提是數(shù)據(jù)要在Excel中處理好,如果數(shù)據(jù)量大可能實現(xiàn)還要在數(shù)據(jù)庫中處理。
或者一蹴而就用BI分析工具,諸如FineBI(www.finebi.com),分析過程無代碼,可以很迅速的出結(jié)果,同時自帶的可視化圖表基本能滿足大部分使用需求了,適合企業(yè)級的數(shù)據(jù)分析,如果個人想拿來做做報告什么的也是非常輕松。

精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

45

帖子

6

積分

Rank: 1

6
發(fā)表于 2021-12-15 14:50:02 | 只看該作者
開放數(shù)據(jù)集

包括:      科研數(shù)據(jù)共享        數(shù)據(jù)算法競賽        政府公司分享

①Stanford Large Network Datasets
網(wǎng)站: Stanford Large Network Dataset Collection
網(wǎng)站里的數(shù)據(jù)還是挺多的,一般每個數(shù)據(jù)都是從具體的一篇論文里來的,也有一個對數(shù)據(jù)的說明。


推薦其中兩個比較好的:
soc_Pokec數(shù)據(jù)集  該數(shù)據(jù)集包含了斯洛伐克最流行的社交網(wǎng)站pokec的網(wǎng)絡(luò)信息。  以下是該數(shù)據(jù)集的基本信息


由于該數(shù)據(jù)集包含了非常詳盡完備的整個社交網(wǎng)站的網(wǎng)絡(luò)信息,是非常具有代表性的公開數(shù)據(jù)集。
這個數(shù)據(jù)集有一百六十多萬個節(jié)點,三千多萬條邊,文件足足半個G,是一個比較大的數(shù)據(jù)集了。
location-based online social networks  數(shù)據(jù)集


該數(shù)據(jù)集Gowalla是一個簽到網(wǎng)絡(luò)。它將用戶線上和線下行為很好地關(guān)聯(lián)了起來。
注意: 下面的網(wǎng)站要翻墻啦。
foursquare dataset  網(wǎng)址:https://sites.google.com/site/yangdingqi/home/foursquare-dataset  該數(shù)據(jù)集也是一個簽到網(wǎng)絡(luò)數(shù)據(jù)集
UCI Machine Learning Repository  跟機器學(xué)習(xí)相關(guān)的
CRAWDADYour Home for Data Science國內(nèi)的兩個數(shù)據(jù)站點:
天池大數(shù)據(jù)眾智平臺-阿里云天池

DataCastle數(shù)據(jù)城堡國內(nèi)的這些商業(yè)化程度高一點 里面還有一些付費的課程。
網(wǎng)絡(luò)爬蟲


進(jìn)行數(shù)據(jù)分析工作首先需要獲取數(shù)據(jù),爬蟲則是獲取互聯(lián)網(wǎng)上公開數(shù)據(jù)的一項利器,也是數(shù)據(jù)分析師一項非常加分的技能。
網(wǎng)絡(luò)爬蟲可以分為兩種
基于網(wǎng)站API的爬取
基于網(wǎng)頁的爬取



就先這些吧~
還有一個很經(jīng)典的,在社會網(wǎng)絡(luò)分析里。Network data
像里面的 空手道俱樂部,海豚網(wǎng)都非常入門 , 導(dǎo)到Gephi里就可以進(jìn)行網(wǎng)絡(luò)分析, 算是一點簡單的挖掘吧~
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

50

帖子

3

積分

Rank: 1

7
發(fā)表于 2021-12-15 16:04:15 | 只看該作者

  • 5W家創(chuàng)業(yè)公司和投資的信息https://public.tableau.com/s/sites/default/files/media/Resources/crunchbase_monthly_export_d43b4klo2ade53.xlsx
  • 乘用車細(xì)分市場銷量預(yù)測數(shù)據(jù)集https://github.com/cxq80803716/2019-CCF-BDCI-Car_sales
  • 1944-2020年的金球獎獲獎數(shù)據(jù) https://www.kaggle.com/unanimad/golden-globe-awards
  • 6271家死亡公墓公司 https://www.kesci.com/home/dataset/5e023cd12823a10036af49b4/files
  • 阿里巴巴移動電商平臺的真實用戶-商品行為數(shù)據(jù)集https://tianchi.aliyun.com/competition/entrance/231522/information
  • 攜程房型產(chǎn)品用戶行為數(shù)據(jù)集 https://pan.baidu.com/s/1uWJxlry967J0T6sTfwDZ9w
  • 2017年家庭金融調(diào)查數(shù)據(jù)庫https://www.kesci.com/home/dataset/5de7682fca27f8002c4cf67c/files
  • 2019 Nature博士生調(diào)查數(shù)據(jù) figshare
  • 知乎用戶數(shù)據(jù)集 https://www.kesci.com/home/dataset/5dc8c85cad7dde00367f2d85/files
  • 2017年-2018年 關(guān)于申根簽證的數(shù)據(jù)集 https://www.kesci.com/home/dataset/5d663fb38499bc002c086af9/files
  • 豆瓣讀書數(shù)據(jù)集 https://www.kesci.com/home/dataset/5cbeb2088c90d7002c822b18/files
  • 來自淘寶2019年3月的口紅商品信息 https://www.kesci.com/home/dataset/5c8b2204b4536a002bcd18ae/files
  • 去哪兒網(wǎng)—數(shù)據(jù)清洗 https://www.kesci.com/home/dataset/5cbd31e58c90d7002c816f5d/files
  • 2015年至2017年國內(nèi)主要城市的年度數(shù)據(jù),涉及產(chǎn)值、人口、就業(yè)、教育等各方面指標(biāo)。https://www.kesci.com/home/dataset/5c3bf64ee8dbbb002b7bb589/files
  • 攜程出行產(chǎn)品未來14個月銷量預(yù)測數(shù)據(jù)集 https://cdn.kesci.com/ctrip14.zip
  • 鏈家二手房數(shù)據(jù)集https://www.kesci.com/home/dataset/58acf5acd2445916845b402c/files
以上數(shù)據(jù)均來自和鯨社區(qū)
@科賽網(wǎng)Kesci
https://www.kesci.com/home/dataset


yulang:數(shù)據(jù)分析機器學(xué)習(xí)必備-各行業(yè)的信息(含鏈接)
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

54

帖子

3

積分

Rank: 1

8
發(fā)表于 2021-12-15 18:26:42 | 只看該作者
再補充幾個可以查宏觀數(shù)據(jù)的網(wǎng)站:
1、中國統(tǒng)計局:國家數(shù)據(jù) 可以查詢國家的各種數(shù)據(jù),如GDP、CPI、總?cè)丝?、社會消費品零售總額、糧食產(chǎn)量、PMI、PPI……數(shù)據(jù)可以免費下載成Excel文件,另外也推出了移動客戶端:數(shù)據(jù)中國pro
2、美聯(lián)儲經(jīng)濟(jì)數(shù)據(jù)庫:Federal Reserve Economic Data 查詢到的數(shù)據(jù)以美國為主,也有少數(shù)其他的西方國家,可以查詢到50年代的數(shù)據(jù),支持免費下載
3、世界銀行:World Bank Open Data 查詢?nèi)蚋鲊嚓P(guān)各方面的宏觀數(shù)據(jù),免費提供CSV文件下載(Excel可以直接打開),非常方便
4、IndexMundi:IndexMundi - Country Facts 包含詳細(xì)的全球各國的統(tǒng)計數(shù)據(jù),可以按地區(qū),國家,主題,行業(yè)部門和類型組織的幾千種指標(biāo)。它并不是一個官方組織,而是一個第三方網(wǎng)站,但是整合了各種數(shù)據(jù)來源,查詢起來還是非常方便的,建議可以和世界銀行的數(shù)據(jù)一起結(jié)合使用。

————————————————————————————————————
耗費200小時,嘔心瀝血精選數(shù)據(jù)源,包含常用數(shù)據(jù)公開網(wǎng)站、政府開放網(wǎng)站、數(shù)據(jù)交易平臺,歡迎收藏。
一、公開數(shù)據(jù)庫

?1、常用數(shù)據(jù)公開網(wǎng)站

UCI:該網(wǎng)站目前維護(hù)了436個經(jīng)典的機器學(xué)習(xí)、數(shù)據(jù)挖掘數(shù)據(jù)集,包含分類、聚類、回歸等問題下的多個數(shù)據(jù)集。


國家數(shù)據(jù):數(shù)據(jù)來源中華人民共和國國家統(tǒng)計局,包含了我國經(jīng)濟(jì)民生等多個方面的數(shù)據(jù),并且在月度、季度、年度都有覆蓋,較為全面。


CEIC:涵蓋超過195個國家400多萬個時間序列的數(shù)據(jù)源,最完整的一套超過128個國家的經(jīng)濟(jì)數(shù)據(jù),能夠精確查找GDP、CPI、進(jìn)口、出口、外資直接投資、零售、銷售以及國際利率等深度數(shù)據(jù)。


萬得:被譽為中國的Bloomberg,在金融業(yè)有著全面的數(shù)據(jù)覆蓋,金融數(shù)據(jù)的類目更新非常快,據(jù)說很受國內(nèi)的商業(yè)分析者和投資人的親睞。


搜數(shù)網(wǎng):已加載到搜數(shù)網(wǎng)站的統(tǒng)計資料達(dá)到7,874本,涵蓋1,761,009張統(tǒng)計表格和364,580,479個統(tǒng)計數(shù)據(jù),匯集了中國資訊行自92年以來收集的44個行業(yè)所有統(tǒng)計和調(diào)查數(shù)據(jù)。


中國統(tǒng)計信息網(wǎng):國家統(tǒng)計局的官方網(wǎng)站,匯集了全國各級政府各年度的國民經(jīng)濟(jì)和社會發(fā)展統(tǒng)計信息,建立了以統(tǒng)計公報為主,統(tǒng)計年鑒、階段發(fā)展數(shù)據(jù)、統(tǒng)計分析、經(jīng)濟(jì)新聞、主要統(tǒng)計指標(biāo)排行等。


亞馬遜:來自亞馬遜的跨科學(xué)云數(shù)據(jù)平臺,擁有免費且開源的數(shù)據(jù)庫,包含化學(xué)、生物、經(jīng)濟(jì)等多個領(lǐng)域的數(shù)據(jù)集。


figshare:研究成果共享平臺,這里向全世界開放免費的研究成果及科學(xué)數(shù)據(jù)。


github:一個非常全面的數(shù)據(jù)獲取渠道,包含各個細(xì)分領(lǐng)域的數(shù)據(jù)庫資源,自然科學(xué)和社會科學(xué)的覆蓋都很全面,適合做研究和數(shù)據(jù)分析的人員。


2、政府開放數(shù)據(jù)

北京市政務(wù)數(shù)據(jù)資源網(wǎng):包含競技、交通、醫(yī)療、天氣等數(shù)據(jù)。
深圳市政府?dāng)?shù)據(jù)開放平臺:交通、文娛、就業(yè)、基礎(chǔ)設(shè)施等數(shù)據(jù)。
上海市政務(wù)數(shù)據(jù)服務(wù)網(wǎng):覆蓋經(jīng)濟(jì)建設(shè)、文化科技、信用服務(wù)、交通出行等12個重點領(lǐng)域數(shù)據(jù)。
貴州省政府?dāng)?shù)據(jù)開放平臺:貴州省在政務(wù)數(shù)據(jù)開放方面做的確實不錯。
http://Data.gov:美國政府開放數(shù)據(jù),包含氣候、教育、能源金融等各領(lǐng)域數(shù)據(jù)。
3、數(shù)據(jù)競賽網(wǎng)站

競賽的數(shù)據(jù)集通常干凈且科研性非常高。
DataCastle:專業(yè)的數(shù)據(jù)科學(xué)競賽平臺。
Kaggle:全球最大的數(shù)據(jù)競賽平臺。
天池:阿里旗下數(shù)據(jù)科學(xué)競賽平臺。
Datafountain:CCF制定大數(shù)據(jù)競賽平臺。
二、可以獲得有價值數(shù)據(jù)

這里給出了一些網(wǎng)站平臺,我們可p a網(wǎng)站上的數(shù)據(jù),某些網(wǎng)站上也給出獲取數(shù)據(jù)的API接口,但需要付費。
1.財經(jīng)數(shù)據(jù)
(1)新浪財經(jīng):免費提供接口,可在新浪財經(jīng)上獲取獲取歷史和實時股票數(shù)據(jù)。
(2)東方財富網(wǎng):可以查看財務(wù)指標(biāo)或者根據(jù)財務(wù)指標(biāo)選股。
(3)中財網(wǎng):提供各類財經(jīng)數(shù)據(jù)。
(4)黃金頭條:各種財經(jīng)資訊。
(5)StockQ:國際股市指數(shù)行情。
(6)Quandl:金融數(shù)據(jù)界的維基百科。
(7)Investing:投資數(shù)據(jù)。
(8)整合的96個股票API合集。
(9)Market Data Feed and API:提供大量數(shù)據(jù),付費,有試用期。
2.網(wǎng)貸數(shù)據(jù)
(1)網(wǎng)貸之家:包含各大網(wǎng)貸平臺不同時間段的放貸數(shù)據(jù)。
(2)零壹數(shù)據(jù):各大平臺的放貸數(shù)據(jù)。
(4)網(wǎng)貸天眼:網(wǎng)貸平臺、行業(yè)數(shù)據(jù)。
(5)76676互聯(lián)網(wǎng)金融門戶:網(wǎng)貸、P2P、理財?shù)然ソ饠?shù)據(jù)。
3.公司年報
(1)巨潮資訊:各種股市咨詢,公司股票、財務(wù)信息。
(2)http://SEC.gov:美國證券交易數(shù)據(jù)
(3)HKEx news披露易:年度業(yè)績報告和年報。
4.創(chuàng)投數(shù)據(jù)
(1)36氪:最新的投資資訊。
(2)投資潮:投資資訊、上市公司信息。
(3)IT桔子:各種創(chuàng)投數(shù)據(jù)。
5.社交平臺
(1)新浪微博:評論、輿情數(shù)據(jù),社交關(guān)系數(shù)據(jù)。
(2)Twitter:輿情數(shù)據(jù),社交關(guān)系數(shù)據(jù)。
(3)知乎:優(yōu)質(zhì)問答、用戶數(shù)據(jù)。
(4)微信公眾號:公眾號運營數(shù)據(jù)。
(5)百度貼吧:輿情數(shù)據(jù)
(6)Tumblr:各種福利圖片、視頻。
6.就業(yè)招聘
(1)拉勾:人才需求數(shù)據(jù)。
(2)中華英才網(wǎng):招聘信息數(shù)據(jù)。
(3)智聯(lián)招聘:招聘信息數(shù)據(jù)。
(4)獵聘網(wǎng):高端職位招聘數(shù)據(jù)。
7.餐飲食品
(1)美團(tuán)外賣:區(qū)域商家、銷量、評論數(shù)據(jù)。
(2)百度外賣:區(qū)域商家、銷量、評論數(shù)據(jù)。
(3)餓了么:區(qū)域商家、銷量、評論數(shù)據(jù)。
(4)大眾點評:點評、輿情數(shù)據(jù)。
8.交通旅游
(1)12306:鐵路運行數(shù)據(jù)。
(2)攜程:景點、路線、機票、酒店等數(shù)據(jù)。
(3)去哪兒:景點、路線、機票、酒店等數(shù)據(jù)。
(4)途牛:景點、路線、機票、酒店等數(shù)據(jù)。
(5)貓途鷹:世界各地旅游景點數(shù)據(jù),來自全球旅行者的真實點評。
類似的還有同程、驢媽媽、途家等
9.電商平臺
(1)亞馬遜:商品、銷量、折扣、點評等數(shù)據(jù)
(2)淘寶:商品、銷量、折扣、點評等數(shù)據(jù)
(3)天貓:商品、銷量、折扣、點評等數(shù)據(jù)
(4)京東:3C產(chǎn)品為主的商品信息、銷量、折扣、點評等數(shù)據(jù)
(5)當(dāng)當(dāng):圖書信息、銷量、點評數(shù)據(jù)。
類似的唯品會、聚美優(yōu)品、1號店等。
10.影音數(shù)據(jù)
(1)豆瓣電影:國內(nèi)最受歡迎的電影信息、評分、評論數(shù)據(jù)。
(2)時光網(wǎng):最全的影視資料庫,評分、影評數(shù)據(jù)。
(3)貓眼電影專業(yè)版:實時票房數(shù)據(jù),電影票房排行。
(4)網(wǎng)易云音樂:音樂歌單、歌手信息、音樂評論數(shù)據(jù)。
11.房屋信息
(1)58同城房產(chǎn):二手房數(shù)據(jù)。
(2)安居客:新房和二手房數(shù)據(jù)。
(3)Q房網(wǎng):新房信息、銷售數(shù)據(jù)。
(4)房天下:新房、二手房、租房數(shù)據(jù)。
(5)小豬短租:短租房源數(shù)據(jù)。
12.購車租車
(1)網(wǎng)易汽車:汽車資訊、汽車數(shù)據(jù)。
(2)人人車:二手車信息、交易數(shù)據(jù)。
(3)中國汽車工業(yè)協(xié)會:汽車制造商產(chǎn)量、銷量數(shù)據(jù)。
13.新媒體數(shù)據(jù)
新榜:新媒體平臺運營數(shù)據(jù)。
清博大數(shù)據(jù):微信公眾號運營榜單及輿情數(shù)據(jù)。
微問數(shù)據(jù):一個針對微信的數(shù)據(jù)網(wǎng)站。
知微傳播分析:微博傳播數(shù)據(jù)。
14.分類信息
(1)58同城:豐富的同城分類信息。
(2)趕集網(wǎng):豐富的同城分類信息。
三、數(shù)據(jù)交易平臺

由于現(xiàn)在數(shù)據(jù)的需求很大,也催生了很多做數(shù)據(jù)交易的平臺,當(dāng)然,除去付費購買的數(shù)據(jù),在這些平臺,也有很多免費的數(shù)據(jù)可以獲取。
優(yōu)易數(shù)據(jù):擁有國家級信息資源的數(shù)據(jù)平臺。包含政務(wù)、社會、社交、教育、消費、交通、能源、金融、健康等多個領(lǐng)域的數(shù)據(jù)資源。



數(shù)據(jù)堂:提供數(shù)據(jù)交易、處理和數(shù)據(jù)API服務(wù),包含語音識別、醫(yī)療健康、交通地理、電子商務(wù)、社交網(wǎng)絡(luò)、圖像識別等方面的數(shù)據(jù)。



四、網(wǎng)絡(luò)指數(shù)

百度指數(shù):指數(shù)查詢平臺,可以根據(jù)指數(shù)的變化查看某個主題在各個時間段受關(guān)注的情況,進(jìn)行趨勢分析、輿情預(yù)測有很好的指導(dǎo)作用。除了關(guān)注趨勢之外,還有需求分析、人群畫像等精準(zhǔn)分析的工具,對于市場調(diào)研來說具有很好的參考意義。同樣的另外兩個搜索引擎搜狗、360也有類似的產(chǎn)品,都可以作為參考。



阿里指數(shù):國內(nèi)權(quán)威的商品交易分析工具,可以按地域、按行業(yè)查看商品搜索和交易數(shù)據(jù),基于淘寶、天貓和1688平臺的交易數(shù)據(jù)基本能夠看出國內(nèi)商品交易的概況。
友盟+全域羅盤:友盟在移動互聯(lián)網(wǎng)應(yīng)用數(shù)據(jù)統(tǒng)計和分析具有較為全面的統(tǒng)計和分析,對于研究移動端產(chǎn)品、做市場調(diào)研、用戶行為分析很有幫助。除了友盟指數(shù),友盟的互聯(lián)網(wǎng)報告同樣是了解互聯(lián)網(wǎng)趨勢的優(yōu)秀讀物。


愛奇藝指數(shù):愛奇藝指數(shù)是專門針對視頻的播放行為、趨勢的分析平臺,對于互聯(lián)網(wǎng)視頻的播放有著全面的統(tǒng)計和分析,涉及到播放趨勢、播放設(shè)備、用戶畫像、地域分布等多個方面。由于愛奇藝龐大的用戶基數(shù),該指數(shù)基本可以說明實際情況。


微指數(shù):微指數(shù)是新浪微博的數(shù)據(jù)分析工具,微指數(shù)通過關(guān)鍵詞的熱議度,以及行業(yè)/類別的平均影響力,來反映微博輿情或賬號的發(fā)展走勢。分為熱詞指數(shù)和影響力指數(shù)兩大模塊,此外,還可以查看熱議人群及各類賬號的地域分布情況。


除了以上指數(shù)外,還有谷歌趨勢、搜狗指數(shù)、360趨勢、艾漫指數(shù)等等。
有了以上數(shù)據(jù)源,當(dāng)然就可以做數(shù)據(jù)分析了。個人用戶推薦免費工具豌豆BI,企業(yè)用戶推薦企業(yè)數(shù)據(jù)分析工具億信ABI。無需下載安裝,直接云上試用。
億信豌豆BI-敏捷BI自助式分析工具|商業(yè)智能BI工具與大數(shù)據(jù)分析平臺億信ABI一站式大數(shù)據(jù)分析平臺-全能型數(shù)據(jù)可視化分析工具
關(guān)于億信華辰

億信華辰是中國專業(yè)的智能數(shù)據(jù)產(chǎn)品與服務(wù)提供商,一直致力于為政企用戶提供從數(shù)據(jù)采集、存儲、治理、分析到智能應(yīng)用的智能數(shù)據(jù)全生命周期管理方案,幫助企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動、數(shù)據(jù)智能,已積累了8000多家用戶的服務(wù)和客戶成功經(jīng)驗,為客戶提供數(shù)據(jù)分析平臺、數(shù)據(jù)治理系統(tǒng)搭建等專業(yè)的產(chǎn)品咨詢、實施和技術(shù)支持服務(wù)。



△億信華辰全產(chǎn)品架構(gòu)圖(點擊查看大圖)


歡迎關(guān)注公眾號:億信華辰Pro
-讓數(shù)據(jù)驅(qū)動進(jìn)步-
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

54

帖子

3

積分

Rank: 1

9
發(fā)表于 2021-12-15 19:36:05 | 只看該作者
主要來自電子政務(wù);開放政府;政府?dāng)?shù)據(jù);政府?dāng)?shù)據(jù)開放;大數(shù)據(jù)數(shù)據(jù)開放平臺。
這里匯總了幾十個公開數(shù)據(jù)源,可以點擊查看。
最全的中國開放數(shù)據(jù)(open data)及政府公開數(shù)據(jù)平臺匯總
精選高品質(zhì)二手iPhone,上愛鋒貝APP

0

主題

39

帖子

3

積分

Rank: 1

10
發(fā)表于 2021-12-15 20:13:42 | 只看該作者
分享一個網(wǎng)址
https://github.com/caesar0301/awesome-public-datasets,github上的一個數(shù)據(jù)庫集合,里面有挺多數(shù)據(jù)的,大多都免費的,介紹如下:
This list of public data sources are collected and tidied from blogs, answers, and user responses. Most of the data sets listed below are free, however, some are not. Other amazingly awesome lists can be found in the
awesome-awesomeness and
sindresorhus's awesome list.
放個數(shù)據(jù)庫目錄導(dǎo)航



精選高品質(zhì)二手iPhone,上愛鋒貝APP
您需要登錄后才可以回帖 登錄 | 立即注冊   

本版積分規(guī)則

QQ|Archiver|手機版|小黑屋|愛鋒貝 ( 粵ICP備16041312號-5 )

GMT+8, 2025-2-5 05:54

Powered by Discuz! X3.4

© 2001-2013 Discuz Team. 技術(shù)支持 by 巔峰設(shè)計.

快速回復(fù) 返回頂部 返回列表