並べ替え：新着順
#オープンデータスゴイ Round3の勉強会ご参加頂いた皆様ありがとうございました！今日の内容を以下のスレッドにメモしてますので気になる内容があればYouTubeのアーカイブをチェック下さい！#たぶラジ
石川さんによる東京都の消費者物価指数の説明。そもそも月ごとにデータセットが異なるのでダウンロードが大変💦５年毎に指数の基準値が変わるので経年の変化を見るときは要注意！ catalog.data.metro.tokyo.lg.jp/dataset/t00000… #オープンデータスゴイ #たぶラジ
畜産物流通調査（ファイル、DB、API） e-stat.go.jp/stat-search?pa… ★全体像と正誤情報 maff.go.jp/j/tokei/kouhyo… #オープンデータスゴイ ※（）内は提供方法 ※確報は7ページの下のほうからスタート
水産物流通調査（ファイル） e-stat.go.jp/stat-search?pa… ★全体像と表の見方 market.jafic.or.jp/contents/guide… #オープンデータスゴイ ※（）内は提供方法
花き卸売市場調査（ファイル） e-stat.go.jp/stat-search?pa… ★全体像と調査終了のお知らせ maff.go.jp/j/tokei/kouhyo… #オープンデータスゴイ ※（）内は提供方法 ※2008年で調査は終了しています
というわけで、わたしからはこの投稿のスレッドにて、卸売価格データの所在地と正誤情報のURLを共有させていただきます！ 青果物卸売市場調査（ファイル、DB、API） e-stat.go.jp/stat-search?pa… ★全体像と正誤情報 maff.go.jp/j/tokei/kouhyo… #オープンデータスゴイ ※（）内は提供方法
#オープンデータスゴイ Round03 オープンデータ可視化ハッカソン勉強会へご参加いただきありがとうございました！ 今回ご紹介した4つの物価関連データは、どれもボリュームとクセがありますが、単一でも組み合わせても、さまざまなインサイトが得られる”みんなが楽しい”データじゃないかと思います😊
活用のは難しさはありますが、いろいろな人の「データ活用を推進したい」という思いで出来上がっているデータのはずなので、思いを繋ぐためにも頑張りましょー！ #オープンデータスゴイ #たぶラジ
日本銀行も物価データを公開しているとのこと。こちらは小売価格ではなくBtoBの価格だそうです。いろいろありますねー。 #オープンデータスゴイ #たぶラジ pic.twitter.com/Wx9f0sqoQ9
同じカテゴリでも月次で取れてる時期と年次でしか取れていない時期があるとのこと。産地別データと漁港別データがまじっちゃうのでちゃんと分けてダウンロードすべし。市場の地名も調べれば小売価格のデータとくっつけられるかも。 #オープンデータスゴイ #たぶラジ pic.twitter.com/BBeDQevTFo
なので項目名の一覧データを前処理してくっつけてやっと使えるようにないました。こちらはいわゆるExcelなので手作業で前処理しました。大変だった。 x.com/unbosoms/statu… #オープンデータスゴイ #たぶラジ
なので分類がまとめてあるexcelを結合しています。 stat.go.jp/data/kakei/kou… しかしこのexcelがクセものです。左画像のような神excel系データなのです。これをあの手この手で加工して右画像のような階層構造データに整形してやっとこさ結合しました。このvizを作る作業時間の８割はこの前処理でした。
家計調査のデータベース形式もくせものです。品目という一つの列に大項目のデータも中項目のデータも小項目のデータも色分けされずに格納されています。x.com/unbosoms/statu… #オープンデータスゴイ #たぶラジ
最後に苦労ポイントを。。。前処理がとても大変でした。家計調査はe-statからダウンロードしたのですが、本来ネストされるべき項目が同じ列に入っています。例えば「食費＞穀類＞パン＞食パン」のような階層構造が表現されていません。
卸売価格の速報は毎日更新されているとのこと。すごい。産地別、市場別のデータがあるのがさすが卸売という感じ。北海道産の製品の北海道での値段と東京での値段が分けて書いてあるとのこと。面白そう。 #オープンデータスゴイ #たぶラジ pic.twitter.com/wlCoKnYz1w
e-Statのデータは単位変更に気をつける必要があるとのこと。100gあたりの価格が1kgあたりに変わったりしていて、急に値段が上がって見えたりも... #オープンデータスゴイ #たぶラジ pic.twitter.com/Xd3Qvb53aV
e-Statのデータベース形式のデータセットはCSV形式(列指向形式・Shift-JIS)を指定するとキレイな縦持ちの形式でダウンロードできます。 #オープンデータスゴイ #たぶラジ pic.twitter.com/x5V8PIAUe6
e_statにある消費者物価指数（2020年基準）の東京都区部の地域指定データと東京都カタログからcsvで取ってくるデータは異なるのだろうか…e_statのデータは54年分、700超の品目のデータがあって、こちらは2020年を100として元々つながっているデータでした。#たぶラジ #オープンデータスゴイ
次はShuntaさんから、e-Statの小売物価統計調査の説明！e-Statのデータは「データベース」の形式のものに絞ると扱いやすいデータが見つけやすいです。 #オープンデータスゴイ #たぶラジ pic.twitter.com/Jml79O22Qx
灰色が元データ。オレンジが経年で見れるように補正したデータ。リーマンショックの影響や、直近の物価上昇がすごい...!! #オープンデータスゴイ #たぶラジ pic.twitter.com/mcP7KKuHZi
石川さんによる東京都の消費者物価指数の説明。そもそも月ごとにデータセットが異なるのでダウンロードが大変💦５年毎に指数の基準値が変わるので経年の変化を見るときは要注意！ catalog.data.metro.tokyo.lg.jp/dataset/t00000… #オープンデータスゴイ #たぶラジ pic.twitter.com/eLMmaMSq96
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
ひとまず寝かしつけ交代の申請をせねば・・・『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
『【Tableauラジオ】LIVE 〜オープンデータ可視化ハッカソン 3rd 勉強会〜』に申し込みました！ techplay.jp/event/945761?u… #初心者 #Tableau #たぶラジ #JTUG #オープンデータスゴイ #techplayjp
アニメ・ゲーム
エンタメ
エンタメ
エンタメ
アニメ・ゲーム
