Spatial Analysis II

-
其實就是把上次的練習應用一下而已~~~
資料是以前分析過的Airbnb


https://rpubs.com/TimoBoll/573940

留言

張貼留言

這個網誌中的熱門文章

文字探勘之關鍵字萃取 : TF-IDF , text-rank , RAKE

-
圖片
Keyword Extraction 這次會將領域伸向文本分析(text mining)， 我們將試著從文字資料裡做關鍵字萃取(Keyword extraction)，主要目的就是選出可以代表文章的詞彙。 常見的應用情景如下： 1. 搜尋關鍵字萃取優化搜尋引擎(SEO) 上圖為筆者常常拜訪的部落格，右下角hot key words便是篩選出來的關鍵字應用。 2.消費者體驗優化 消費者會在評價上留下實際體驗後的意見，我們可以先針對內容抓出key words, 如此一來處理客服端便可以提前預知消費者的需求，早一步作出準備。 How to do it? (1)Word of Bag詞袋表達 怎麼去詳細計算呢? 舉簡單例子 Doc1. 我愛豬腳麵線 Doc2. 你愛麻油雞 Doc3. 我愛你，你愛我 Doc4. 你我愛麵線 我們可由上面四篇文件計算出不同的詞與對應的頻率，這樣也就達成將各詞彙量化的目的了！ Ptt Movie版實作練習 1. 讀取資料 & 整理資料(stop words / Customized words) &字頻分析 #library and reading data library(tidyverse) library(jiebaR) library(widyr) library(tidytext) library(tm) library(igraph) library(ggnetwork) library(textrank) Movie <- read_csv("movie板 電影心得.csv") head(Movie, 5) Movie$label <- ifelse(Movie$label==0,"好評","差評") Movie$label <- as.factor(Movie$label) 我們可以看到PTT上完整的文章，主要分析的內容是content，但可以看到有太多無謂的符號與各種沒有辦法幫助分析的字詞(eg: 雷文、防雷、不負責任....,等)，分析之前勢必要處理他們的。 用gsub函數代換掉多餘的符號，同時設定好stopping wo...
閱讀完整內容

多元迴歸分析- subsets and shrinkage

-
圖片
     多元迴歸分析是統計學裡舉足輕重的角色，解釋、個體與趨勢預測都是強而有力的好伙伴，但是，當我們發現變數太多，不知道挑選哪一個，或者變數間相關係數非常的高，該怎麼辦?       本篇文章將會由Subsets Methods裡的Stepwise regression 開始介紹起，再來說明Shrinkage Methods 裡 lasso and ridge兩種不同的迴歸方法。 -------------------------------------------------------- A. 前言 回歸或許是很強而有力的伙伴，但是相對的，使用條件也相對複雜得多，回歸模型往往伴隨著許多的變異，因此很輕易的將變數丟進去model裡，勢必會有很多的問題產生，例如： 1.  Predict data放了不適當的變數造成了Overfitting導致實際上的testing data預測效果太差。 2. 解釋變數彼此的相關程度很高，型成共線性的問題，反而讓coefficient被大大影響，通常判斷共線性的標準主要為： I.容忍度（ tolerance ，小於 0.1 有共線性問題） II.變異數膨脹因素（ Variance inflation factor, VIF ，大於 10 有共線性問題） III.條件指標（ Condition index, CI ，大於 30 有共線性問題） 為了解決這個方法，subsets 與 shrinkage兩種方法便孕育而生了 兩種方法代表模型如下: subsets: Stepwise            shringkage: lasso and ridge 其中lasso 跟Stepwise目前被頻繁用於變數挑選上。 B. 子集回歸(subsets regression) Forward stepwise: 在空的迴歸模型中，逐一加入變數，直到AIC值為最小  Backward stepwise: 在包含所有變數的模型中，逐一刪除變數，直到AIC值為最小  Bo...
閱讀完整內容

Using R in power BI with html visuals

-
圖片
嗨嗨大家好， 又很久不見了， 最近的工作內容仍然以BI資料視覺呈現為主，透過R語言去連接本機的ODBC渠道，進而連接來自不同類型的SQL，從PosSQL / Oracle / MS SQL...等， 串接成功後，先以R語言進行資料梳理，tidyverse套件對於整理而言已經是很足夠應付的，甚至可以將不利於做分析的報表格式整理成Tidy格式。  今天最主要想介紹的是怎麼隨心所欲地將R語言的視覺效果隨心所欲地移植到Power BI。  1. 非互動視覺效果: 很簡易地，我們可以直接從紅框框處選擇安插R語言的編輯。 打開後，其實就是安插一個R語言環境在他的小視窗裡進行編輯，這時我們便可以選擇欄位做為要視覺化的對象。我們甚至可以在此進行csv讀檔或者任何新資料集皆能在此進行處理，如下圖，我使用了跟Power BI環境裡完全不同的資料集進行視覺化。 不過，想當然爾，在R語言是以圖片的方式呈現出來的，自然是不會有互動性，不過R本身已經有支援plotly, leaflet等具備互動是圖表的套件，但當我們想套用時，會發現這樣並沒有辦法用一樣的方式呈現。在這裡的語法只能針對圖片檔呈現。 所以要放棄leaflet 或 plotly 等精美的方式呈現嗎? 當然不要。 2. 互動視覺效果: 怎麼處理呢?  首先去下載 nodejs 吧~~ 再來打開cmder / powershell輸入 pbiviz new demoCarEvaluation -t rhtml 於是開始一系列的安裝， 成功後可以看到以下畫面: 我們在cmder 輸入 pbiviz可以看到以下畫面: 接下來去尋找您安裝的地點 接下來可以看到許多json檔案與script.R，我們需要進入這些檔案修改預設好的檔案: a) pbiviz.json : 更改 name / displayname / description / supportUrl(改成任何網址都行ex: www.google.com) / author (簡單填一下自己的簡介即可) b) dependencies.json : 選擇自己要安裝的package,預設為plotly,而我在此新增了leaflet,千萬要記得附上cran的連結唷! c) 針對Rcript調整，其實寫道這漫漫可以理解，這就是base on R語言的Power...
閱讀完整內容