Covariance of a (24976, 108) matrix

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
3 messages Options
Reply | Threaded
Open this post in threaded view
|

Covariance of a (24976, 108) matrix

Kevin Liu-2
I would like to know the covariance of the columns of this matrix, would appreciate your help. Cols with SHA-256 hashes are categorical variables, the rest are numeric.

julia> showcols(train)

24976x108 DataFrames.DataFrame

| Col # | Name        | Eltype     | Missing |

|-------|-------------|------------|---------|

| 1     | x016399044a | Int64      | 0       |

| 2     | x023c68873b | UTF8String | 0       |

| 3     | x0342faceb5 | Int64      | 0       |

| 4     | x04e7268385 | Int64      | 0       |

| 5     | x06888ceac9 | Int64      | 0       |

| 6     | x072b7e8f27 | Float64    | 0       |

| 7     | x087235d61e | Int64      | 0       |

| 8     | x0b846350ef | Float64    | 0       |

| 9     | x0e2ab0831c | Float64    | 0       |

| 10    | x12eda2d982 | Float64    | 0       |

| 11    | x136c1727c3 | Float64    | 0       |

| 12    | x173b6590ae | Float64    | 0       |

| 13    | x174825d438 | Int64      | 0       |

| 14    | x1f222e3669 | Float64    | 0       |

| 15    | x1f3058af83 | Int64      | 0       |

| 16    | x1fa099bb01 | Int64      | 0       |

| 17    | x20f1afc5c7 | Float64    | 0       |

| 18    | x253eb5ef11 | Float64    | 0       |

| 19    | x25bbf0e7e7 | Int64      | 0       |

| 20    | x2719b72c0d | Float64    | 0       |

| 21    | x298ed82b22 | Float64    | 0       |

| 22    | x29bbd86997 | Float64    | 0       |

| 23    | x2a457d15d9 | Int64      | 0       |

| 24    | x2bc6ab42f7 | Float64    | 0       |

| 25    | x2d7fe4693a | Float64    | 0       |

| 26    | x2e874bc151 | Float64    | 0       |

| 27    | x361f93f4d1 | UTF8String | 0       |

| 28    | x384bec5dd1 | Int64      | 0       |

| 29    | x3df2300fa2 | Float64    | 0       |

| 30    | x3e200bf766 | Int64      | 0       |

| 31    | x3eb53ae932 | Float64    | 0       |

| 32    | x435dec85e2 | Float64    | 0       |

| 33    | x4468394575 | Float64    | 0       |

| 34    | x49756d8e0f | Float64    | 0       |

| 35    | x4fc17427c8 | Float64    | 0       |

| 36    | x55907cc1de | Float64    | 0       |

| 37    | x55cf3f7627 | Float64    | 0       |

| 38    | x56371466d7 | Int64      | 0       |

| 39    | x5b862c0a8f | Int64      | 0       |

| 40    | x5f360995ef | Int64      | 0       |

| 41    | x60ec1426ce | Float64    | 0       |

| 42    | x63bcf89b1d | Float64    | 0       |

| 43    | x6516422788 | Float64    | 0       |

| 44    | x65aed7dc1f | Int64      | 0       |

| 45    | x6db53d265a | Int64      | 0       |

| 46    | x7734c0c22f | Float64    | 0       |

| 47    | x7743f273c2 | Float64    | 0       |

| 48    | x779d13189e | Float64    | 0       |

| 49    | x77b3b41efa | Float64    | 0       |

| 50    | x7841b6a5b1 | Float64    | 0       |

| 51    | x789b5244a9 | Float64    | 0       |

| 52    | x7925993f42 | Float64    | 0       |

| 53    | x7cb7913148 | Int64      | 0       |

| 54    | x7fe6cb4c98 | Float64    | 0       |

| 55    | x8311343404 | Float64    | 0       |

| 56    | x87b982928b | Float64    | 0       |

| 57    | x8a21502326 | Float64    | 0       |

| 58    | x8c2e088a3d | Int64      | 0       |

| 59    | x8d0606b150 | UTF8String | 0       |

| 60    | x8de0382f02 | Float64    | 0       |

| 61    | x8f5f7c556a | Int64      | 0       |

| 62    | x91145d159d | UTF8String | 0       |

| 63    | x96c30c7eef | Float64    | 0       |

| 64    | x96e6f0be58 | Float64    | 0       |

| 65    | x98475257f7 | Float64    | 0       |

| 66    | x99d44111c9 | Float64    | 0       |

| 67    | x9a575e82a4 | Int64      | 0       |

| 68    | x9b6e0b36c2 | Float64    | 0       |

| 69    | a14fd026ce  | Int64      | 0       |

| 70    | a24802caa5  | Float64    | 0       |

| 71    | aa69c802b6  | Float64    | 0       |

| 72    | abca7a848f  | Int64      | 0       |

| 73    | ac826f0013  | Float64    | 0       |

| 74    | ae08d2297e  | Int64      | 0       |

| 75    | aee1e4fc85  | Float64    | 0       |

| 76    | b4112a94a6  | Float64    | 0       |

| 77    | b709f75447  | Float64    | 0       |

| 78    | b835dfe10f  | UTF8String | 0       |

| 79    | b9a487ac3c  | Float64    | 0       |

| 80    | ba54a2a637  | Float64    | 0       |

| 81    | bdf934caa7  | Float64    | 0       |

| 82    | beb6e17af1  | Int64      | 0       |

| 83    | c0c3df65b1  | Int64      | 0       |

| 84    | c1b8ce2354  | Float64    | 0       |

| 85    | c58f611921  | Float64    | 0       |

| 86    | d035af6ffa  | Float64    | 0       |

| 87    | d2c775fa99  | Int64      | 0       |

| 88    | d4d6566f9c  | Float64    | 0       |

| 89    | dcfcbc2ea1  | Int64      | 0       |

| 90    | e0a0772df0  | Float64    | 0       |

| 91    | e16e640635  | UTF8String | 0       |

| 92    | e5efa4d39a  | Float64    | 0       |

| 93    | e7ee22effb  | Int64      | 0       |

| 94    | e86a2190c1  | Int64      | 0       |

| 95    | ea0f4a32e3  | Float64    | 0       |

| 96    | ed7e658a27  | Float64    | 0       |

| 97    | ee2ac696ff  | Float64    | 0       |

| 98    | f013b60e50  | Float64    | 0       |

| 99    | f0a0febd35  | Float64    | 0       |

| 100   | f1f0984934  | UTF8String | 0       |

| 101   | f66b98dd69  | Float64    | 0       |

| 102   | fbf66c8021  | Float64    | 0       |

| 103   | fdf8628ca7  | Int64      | 0       |

| 104   | fe0318e273  | Float64    | 0       |

| 105   | fe8cdd80ba  | Float64    | 0       |

| 106   | ffd1cdcfc1  | Float64    | 0       |

| 107   | id          | Int64      | 0       |

| 108   | target      | Float64    | 0       |

--
You received this message because you are subscribed to the Google Groups "julia-stats" group.
To unsubscribe from this group and stop receiving emails from it, send an email to [hidden email].
For more options, visit https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: Covariance of a (24976, 108) matrix

Kevin Liu-2
The best option I can find is cov(X, wv[vardim=1, mean=nothing]) from StatsBase.jl, but am not sure if I need weight vectors at this moment.

On Wednesday, April 27, 2016 at 1:00:41 PM UTC-3, Kevin Liu wrote:
I would like to know the covariance of the columns of this matrix, would appreciate your help. Cols with SHA-256 hashes are categorical variables, the rest are numeric.

julia> showcols(train)

24976x108 DataFrames.DataFrame

| Col # | Name        | Eltype     | Missing |

|-------|-------------|------------|---------|

| 1     | x016399044a | Int64      | 0       |

| 2     | x023c68873b | UTF8String | 0       |

| 3     | x0342faceb5 | Int64      | 0       |

| 4     | x04e7268385 | Int64      | 0       |

| 5     | x06888ceac9 | Int64      | 0       |

| 6     | x072b7e8f27 | Float64    | 0       |

| 7     | x087235d61e | Int64      | 0       |

| 8     | x0b846350ef | Float64    | 0       |

| 9     | x0e2ab0831c | Float64    | 0       |

| 10    | x12eda2d982 | Float64    | 0       |

| 11    | x136c1727c3 | Float64    | 0       |

| 12    | x173b6590ae | Float64    | 0       |

| 13    | x174825d438 | Int64      | 0       |

| 14    | x1f222e3669 | Float64    | 0       |

| 15    | x1f3058af83 | Int64      | 0       |

| 16    | x1fa099bb01 | Int64      | 0       |

| 17    | x20f1afc5c7 | Float64    | 0       |

| 18    | x253eb5ef11 | Float64    | 0       |

| 19    | x25bbf0e7e7 | Int64      | 0       |

| 20    | x2719b72c0d | Float64    | 0       |

| 21    | x298ed82b22 | Float64    | 0       |

| 22    | x29bbd86997 | Float64    | 0       |

| 23    | x2a457d15d9 | Int64      | 0       |

| 24    | x2bc6ab42f7 | Float64    | 0       |

| 25    | x2d7fe4693a | Float64    | 0       |

| 26    | x2e874bc151 | Float64    | 0       |

| 27    | x361f93f4d1 | UTF8String | 0       |

| 28    | x384bec5dd1 | Int64      | 0       |

| 29    | x3df2300fa2 | Float64    | 0       |

| 30    | x3e200bf766 | Int64      | 0       |

| 31    | x3eb53ae932 | Float64    | 0       |

| 32    | x435dec85e2 | Float64    | 0       |

| 33    | x4468394575 | Float64    | 0       |

| 34    | x49756d8e0f | Float64    | 0       |

| 35    | x4fc17427c8 | Float64    | 0       |

| 36    | x55907cc1de | Float64    | 0       |

| 37    | x55cf3f7627 | Float64    | 0       |

| 38    | x56371466d7 | Int64      | 0       |

| 39    | x5b862c0a8f | Int64      | 0       |

| 40    | x5f360995ef | Int64      | 0       |

| 41    | x60ec1426ce | Float64    | 0       |

| 42    | x63bcf89b1d | Float64    | 0       |

| 43    | x6516422788 | Float64    | 0       |

| 44    | x65aed7dc1f | Int64      | 0       |

| 45    | x6db53d265a | Int64      | 0       |

| 46    | x7734c0c22f | Float64    | 0       |

| 47    | x7743f273c2 | Float64    | 0       |

| 48    | x779d13189e | Float64    | 0       |

| 49    | x77b3b41efa | Float64    | 0       |

| 50    | x7841b6a5b1 | Float64    | 0       |

| 51    | x789b5244a9 | Float64    | 0       |

| 52    | x7925993f42 | Float64    | 0       |

| 53    | x7cb7913148 | Int64      | 0       |

| 54    | x7fe6cb4c98 | Float64    | 0       |

| 55    | x8311343404 | Float64    | 0       |

| 56    | x87b982928b | Float64    | 0       |

| 57    | x8a21502326 | Float64    | 0       |

| 58    | x8c2e088a3d | Int64      | 0       |

| 59    | x8d0606b150 | UTF8String | 0       |

| 60    | x8de0382f02 | Float64    | 0       |

| 61    | x8f5f7c556a | Int64      | 0       |

| 62    | x91145d159d | UTF8String | 0       |

| 63    | x96c30c7eef | Float64    | 0       |

| 64    | x96e6f0be58 | Float64    | 0       |

| 65    | x98475257f7 | Float64    | 0       |

| 66    | x99d44111c9 | Float64    | 0       |

| 67    | x9a575e82a4 | Int64      | 0       |

| 68    | x9b6e0b36c2 | Float64    | 0       |

| 69    | a14fd026ce  | Int64      | 0       |

| 70    | a24802caa5  | Float64    | 0       |

| 71    | aa69c802b6  | Float64    | 0       |

| 72    | abca7a848f  | Int64      | 0       |

| 73    | ac826f0013  | Float64    | 0       |

| 74    | ae08d2297e  | Int64      | 0       |

| 75    | aee1e4fc85  | Float64    | 0       |

| 76    | b4112a94a6  | Float64    | 0       |

| 77    | b709f75447  | Float64    | 0       |

| 78    | b835dfe10f  | UTF8String | 0       |

| 79    | b9a487ac3c  | Float64    | 0       |

| 80    | ba54a2a637  | Float64    | 0       |

| 81    | bdf934caa7  | Float64    | 0       |

| 82    | beb6e17af1  | Int64      | 0       |

| 83    | c0c3df65b1  | Int64      | 0       |

| 84    | c1b8ce2354  | Float64    | 0       |

| 85    | c58f611921  | Float64    | 0       |

| 86    | d035af6ffa  | Float64    | 0       |

| 87    | d2c775fa99  | Int64      | 0       |

| 88    | d4d6566f9c  | Float64    | 0       |

| 89    | dcfcbc2ea1  | Int64      | 0       |

| 90    | e0a0772df0  | Float64    | 0       |

| 91    | e16e640635  | UTF8String | 0       |

| 92    | e5efa4d39a  | Float64    | 0       |

| 93    | e7ee22effb  | Int64      | 0       |

| 94    | e86a2190c1  | Int64      | 0       |

| 95    | ea0f4a32e3  | Float64    | 0       |

| 96    | ed7e658a27  | Float64    | 0       |

| 97    | ee2ac696ff  | Float64    | 0       |

| 98    | f013b60e50  | Float64    | 0       |

| 99    | f0a0febd35  | Float64    | 0       |

| 100   | f1f0984934  | UTF8String | 0       |

| 101   | f66b98dd69  | Float64    | 0       |

| 102   | fbf66c8021  | Float64    | 0       |

| 103   | fdf8628ca7  | Int64      | 0       |

| 104   | fe0318e273  | Float64    | 0       |

| 105   | fe8cdd80ba  | Float64    | 0       |

| 106   | ffd1cdcfc1  | Float64    | 0       |

| 107   | id          | Int64      | 0       |

| 108   | target      | Float64    | 0       |

--
You received this message because you are subscribed to the Google Groups "julia-stats" group.
To unsubscribe from this group and stop receiving emails from it, send an email to [hidden email].
For more options, visit https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: Covariance of a (24976, 108) matrix

Kevin Liu-2
In reply to this post by Kevin Liu-2
The best option I can find is cov(X, wv[vardim=1, mean=nothing]) from StatsBase.jl, but am not sure I need weight vectors at this moment.

On Wednesday, April 27, 2016 at 1:00:41 PM UTC-3, Kevin Liu wrote:
I would like to know the covariance of the columns of this matrix, would appreciate your help. Cols with SHA-256 hashes are categorical variables, the rest are numeric.

julia> showcols(train)

24976x108 DataFrames.DataFrame

| Col # | Name        | Eltype     | Missing |

|-------|-------------|------------|---------|

| 1     | x016399044a | Int64      | 0       |

| 2     | x023c68873b | UTF8String | 0       |

| 3     | x0342faceb5 | Int64      | 0       |

| 4     | x04e7268385 | Int64      | 0       |

| 5     | x06888ceac9 | Int64      | 0       |

| 6     | x072b7e8f27 | Float64    | 0       |

| 7     | x087235d61e | Int64      | 0       |

| 8     | x0b846350ef | Float64    | 0       |

| 9     | x0e2ab0831c | Float64    | 0       |

| 10    | x12eda2d982 | Float64    | 0       |

| 11    | x136c1727c3 | Float64    | 0       |

| 12    | x173b6590ae | Float64    | 0       |

| 13    | x174825d438 | Int64      | 0       |

| 14    | x1f222e3669 | Float64    | 0       |

| 15    | x1f3058af83 | Int64      | 0       |

| 16    | x1fa099bb01 | Int64      | 0       |

| 17    | x20f1afc5c7 | Float64    | 0       |

| 18    | x253eb5ef11 | Float64    | 0       |

| 19    | x25bbf0e7e7 | Int64      | 0       |

| 20    | x2719b72c0d | Float64    | 0       |

| 21    | x298ed82b22 | Float64    | 0       |

| 22    | x29bbd86997 | Float64    | 0       |

| 23    | x2a457d15d9 | Int64      | 0       |

| 24    | x2bc6ab42f7 | Float64    | 0       |

| 25    | x2d7fe4693a | Float64    | 0       |

| 26    | x2e874bc151 | Float64    | 0       |

| 27    | x361f93f4d1 | UTF8String | 0       |

| 28    | x384bec5dd1 | Int64      | 0       |

| 29    | x3df2300fa2 | Float64    | 0       |

| 30    | x3e200bf766 | Int64      | 0       |

| 31    | x3eb53ae932 | Float64    | 0       |

| 32    | x435dec85e2 | Float64    | 0       |

| 33    | x4468394575 | Float64    | 0       |

| 34    | x49756d8e0f | Float64    | 0       |

| 35    | x4fc17427c8 | Float64    | 0       |

| 36    | x55907cc1de | Float64    | 0       |

| 37    | x55cf3f7627 | Float64    | 0       |

| 38    | x56371466d7 | Int64      | 0       |

| 39    | x5b862c0a8f | Int64      | 0       |

| 40    | x5f360995ef | Int64      | 0       |

| 41    | x60ec1426ce | Float64    | 0       |

| 42    | x63bcf89b1d | Float64    | 0       |

| 43    | x6516422788 | Float64    | 0       |

| 44    | x65aed7dc1f | Int64      | 0       |

| 45    | x6db53d265a | Int64      | 0       |

| 46    | x7734c0c22f | Float64    | 0       |

| 47    | x7743f273c2 | Float64    | 0       |

| 48    | x779d13189e | Float64    | 0       |

| 49    | x77b3b41efa | Float64    | 0       |

| 50    | x7841b6a5b1 | Float64    | 0       |

| 51    | x789b5244a9 | Float64    | 0       |

| 52    | x7925993f42 | Float64    | 0       |

| 53    | x7cb7913148 | Int64      | 0       |

| 54    | x7fe6cb4c98 | Float64    | 0       |

| 55    | x8311343404 | Float64    | 0       |

| 56    | x87b982928b | Float64    | 0       |

| 57    | x8a21502326 | Float64    | 0       |

| 58    | x8c2e088a3d | Int64      | 0       |

| 59    | x8d0606b150 | UTF8String | 0       |

| 60    | x8de0382f02 | Float64    | 0       |

| 61    | x8f5f7c556a | Int64      | 0       |

| 62    | x91145d159d | UTF8String | 0       |

| 63    | x96c30c7eef | Float64    | 0       |

| 64    | x96e6f0be58 | Float64    | 0       |

| 65    | x98475257f7 | Float64    | 0       |

| 66    | x99d44111c9 | Float64    | 0       |

| 67    | x9a575e82a4 | Int64      | 0       |

| 68    | x9b6e0b36c2 | Float64    | 0       |

| 69    | a14fd026ce  | Int64      | 0       |

| 70    | a24802caa5  | Float64    | 0       |

| 71    | aa69c802b6  | Float64    | 0       |

| 72    | abca7a848f  | Int64      | 0       |

| 73    | ac826f0013  | Float64    | 0       |

| 74    | ae08d2297e  | Int64      | 0       |

| 75    | aee1e4fc85  | Float64    | 0       |

| 76    | b4112a94a6  | Float64    | 0       |

| 77    | b709f75447  | Float64    | 0       |

| 78    | b835dfe10f  | UTF8String | 0       |

| 79    | b9a487ac3c  | Float64    | 0       |

| 80    | ba54a2a637  | Float64    | 0       |

| 81    | bdf934caa7  | Float64    | 0       |

| 82    | beb6e17af1  | Int64      | 0       |

| 83    | c0c3df65b1  | Int64      | 0       |

| 84    | c1b8ce2354  | Float64    | 0       |

| 85    | c58f611921  | Float64    | 0       |

| 86    | d035af6ffa  | Float64    | 0       |

| 87    | d2c775fa99  | Int64      | 0       |

| 88    | d4d6566f9c  | Float64    | 0       |

| 89    | dcfcbc2ea1  | Int64      | 0       |

| 90    | e0a0772df0  | Float64    | 0       |

| 91    | e16e640635  | UTF8String | 0       |

| 92    | e5efa4d39a  | Float64    | 0       |

| 93    | e7ee22effb  | Int64      | 0       |

| 94    | e86a2190c1  | Int64      | 0       |

| 95    | ea0f4a32e3  | Float64    | 0       |

| 96    | ed7e658a27  | Float64    | 0       |

| 97    | ee2ac696ff  | Float64    | 0       |

| 98    | f013b60e50  | Float64    | 0       |

| 99    | f0a0febd35  | Float64    | 0       |

| 100   | f1f0984934  | UTF8String | 0       |

| 101   | f66b98dd69  | Float64    | 0       |

| 102   | fbf66c8021  | Float64    | 0       |

| 103   | fdf8628ca7  | Int64      | 0       |

| 104   | fe0318e273  | Float64    | 0       |

| 105   | fe8cdd80ba  | Float64    | 0       |

| 106   | ffd1cdcfc1  | Float64    | 0       |

| 107   | id          | Int64      | 0       |

| 108   | target      | Float64    | 0       |

--
You received this message because you are subscribed to the Google Groups "julia-stats" group.
To unsubscribe from this group and stop receiving emails from it, send an email to [hidden email].
For more options, visit https://groups.google.com/d/optout.