DWHの人気記事 174件 - はてなブックマーク

1 - 40 件けん / 174件けん

絞しぼり込こみ

検索けんさく対象たいしょう
ブックマーク数すう
期間きかん
セーフサーチ

DWHの検索けんさく結果けっか1 - 40 件けん / 174件けん

DWHに関かんするエントリは174件けんあります。データ、分析ぶんせき、 BigQuery などが関連かんれんタグです。人気にんきエントリには『近年きんねんのデータ分析ぶんせき基盤きばん構築こうちくにおける失敗しっぱいはBigQueryを採用さいようしなかったことに全すべて起因きいんしている - データエンジニアの酩酊めいてい日記にっき』などがあります。

近年きんねんのデータ分析ぶんせき基盤きばん構築こうちくにおける失敗しっぱいはBigQueryを採用さいようしなかったことに全すべて起因きいんしている - データエンジニアの酩酊めいてい日記にっき
- 399 users
- uma66.hateblo.jp
- テクノロジー
- 2019/10/17
久ひさしぶりにペラペラな思おもいつきを書かき捨すてて、寝ねます。 2、3年ねん前まえぐらいにSIerやコンサルでTreasure Dataとか使つかってマネージドDWH作つくろうぜっていう風潮ふうちょうが流行はやって、今いまは運用うんようフェーズに入はいってどこも結構けっこう苦くるしんでるってのが僕ぼくのすごく狭せまい観測かんそく範囲はんいでの印象いんしょう。 AWSのReadshiftしかり。なぜ苦くるしんでるかっていうと、言いうほどスケールしないからであり、言いうほどマネージドじゃないから。 Treasure Dataは基本きほん的てきに割当わりあてメモリが固定こていでオートスケールしないので、ピーク時じに合あわせて必要ひつようなメモリを確保かくほしておかないといけない。そうなるとメモリ使用しよう量りょうとか負荷ふかとかをモニタリングしないといけないわけだけど、Saasだから内部ないぶのアーキテクチャが隠蔽いんぺいされていていちいちサポートに問とい合あわせないといけなかったりする。 Redshiftの場合ばあいはそもそも自前じまえでクラスタ管理かんりしなくちゃいけないのでそれが大変たいへんって
データ基盤きばんにありがちな「何なにを使つかって作つくればよいか？」という問といに対たいする処方箋しょほうせんを用意よういしてみました. - Lean Baseball
- 398 users
- shinyorke.hatenablog.com
- テクノロジー
- 2022/12/01
ちょっと昔むかしまではデータ基盤きばんの管理人かんりにん・アーキテクト, 現在げんざいは思おもいっきりクラウドアーキを扱あつかうコンサルタントになったマンです. 私わたし自身じしんの経験けいけん・スキル・このブログに書かいているコンテンツの関係かんけいで, 「データ基盤きばんって何なにを使つかって作つくればいいの?」的てきなHow（もしくはWhere）の相談そうだん. 「Googleのビッグクエリーってやつがいいと聞きいたけど何なにができるの?」的てきな個別こべつのサービスに対たいするご相談そうだん. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話はなし. 有あり難がたくもこのようなお話はなしをよくお受うけしています. が, （仕事しごと以外いがいの営いとなみにおける）個人こじんとしては毎度まいど同おなじ話ばなしをするのはまあまあ疲つかれるので, データ基盤きばんにありがちな「何なにを使つかって作つくればよいか？」という問といに対たいする処方箋しょほうせんというテーマで, クラウド上じょうでデータ基盤きばんを構築こうちくする際さいのサービスの選えらび方かた（データ基盤きばんに限かぎらず）クラウド料金りょうきんの基本きほん的てきな考かんがえ方かたをGoogle
Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
- 302 users
- satoshihirose.hateblo.jp
- テクノロジー
- 2021/11/20
はじめに Modern Data Stack ? Modern Data Stack の特徴とくちょうやメリット、関連かんれんするトレンドデータインフラのクラウドサービス化か / Data infrastructure as a service データ連携れんけいサービスの発展はってん ELT! ELT! ELT! Reverse ETL テンプレート化かされた SQL and YAML などによるデータの管理かんりセマンティックレイヤーの凋落ちょうらくと Headless BI 計算けいさんフレームワーク (Computation Frameworks) 分析ぶんせきプロセスの民主みんしゅ化か、データガバナンスとデータメッシュの試こころみプロダクト組くみ込こみ用ようデータサービスリアルタイム Analytics Engineer の登場とうじょう各社かくしゃファウンダーが考かんがえる Modern Data Stack さいごに Further Readings はじめに Modern Dat
論理ろんりプログラミング言語げんごLogicaでデータサイエンス100本ほんノック
- 267 users
- zenn.dev/koji_mats
- テクノロジー
- 2021/06/25
Googleが発表はっぴょうしたOSSプロジェクトである論理ろんりプログラミング言語げんごLogicaを使つかって、データサイエンス100本ほんノック(構造こうぞう化かデータ加工かこう編へん)の設問せつもんを解ときながらどのような言語げんごかを確認かくにんしていく。 (BigQueryのクエリとして実行じっこうしていく) 最初さいしょに、プログラミング言語げんごLogicaの特徴とくちょうを纏まとめておく。論理ろんり型がたプログラミング言語げんご: このカテゴリではPrologが有名ゆうめい SQLにコンパイルされる: 現状げんじょうBigQueryとPostgreSQLに対応たいおうモジュール機構きこうがある: SQLと比較ひかくした強つよみコンパイラはPythonで書かかれている: Jupyter NotebookやGoogle Colabですぐ始はじめられる Colabでチュートリアルが用意よういされているので、まずこちらからやると良よいと思おもう。コードの見みた目めは関係かんけい論理ろんりの記述きじゅつに似にている。事前じぜんに、データサイエンス100本ほんノックのテーブルデータをBigQu

コールセンターの担当たんとう者しゃもSQLを叩たたく。モノタロウのデータドリブンな文化ぶんかに惚ほれた｜株式会社かぶしきがいしゃMonotaRO（モノタロウ）
- 248 users
- note.com/monotaro_note
- テクノロジー
- 2021/06/04
※本ほん記事きじの内容ないようは取材しゅざい時じのものであり、組織そしき名めいや役職やくしょく等とうは取材しゅざい時点じてんのものを掲載けいさいしております。モノタロウの継続けいぞく的てきなビジネス成長せいちょうに伴ともない、月間げっかんセッション数すうや注文ちゅうもん数すうは大幅おおはばな増加ぞうかを続つづけています。指数しすう関数かんすう的てきに増ふえるデータを扱あつかいやすくするための技術ぎじゅつ的てき探求たんきゅうは尽つきません。なかでもデータハブの整理せいり・構築こうちくを中心ちゅうしんに技術ぎじゅつ開発かいはつ・研究けんきゅうに携たずさわるのが、エンジニアの中村なかむらさん（ECシステムエンジニアリング部門ぶもん EC基盤きばんグループコアロジックチーム）です。データ領域りょういきで「冒険ぼうけんしたかった」という彼かれが、モノタロウを選えらんだ理由りゆうや技術ぎじゅつ的てきな面白おもしろさ、今後こんごの展望てんぼうについて話はなしを聞ききました。データが“いくらでも増ふえ続つづける”サービスでのチャレンジ ——はじめに、現在げんざいの業務ぎょうむについて教おしえてください。主おもにデータハブの整理せいりや構築こうちくです。実際じっさいのデータからバッチ処理しょりでデータを作つくり、API化かしていく手法しゅほうを開発かいはつ・研究けんきゅうしています。プラクティスを他たの開発かいはつ者しゃに展開てんかいするなど、
Data Platform Guide - 事業じぎょうを成長せいちょうさせるデータ基盤きばんを作つくるには #DataEngineeringStudy / 20200715
- 242 users
- speakerdeck.com/yuzutas0
- テクノロジー
- 2020/07/15
Data Engineering Study #1 の発表はっぴょう資料しりょうです。 https://forkwell.connpass.com/event/179786/ 当日とうじつの動画どうがはYoutubeで閲覧えつらん可能かのうです。 https://www.youtube.com/watch?v=hFYNuuAaiTg …
- DWH
- BI
- あとで読よむ
- data
- データ
- slide
- datalake
- bigquery
- platform
MonotaROのデータ基盤きばん10年ねん史し（前編ぜんぺん） - MonotaRO Tech Blog
- 238 users
- tech-blog.monotaro.com
- テクノロジー
- 2021/10/26
おしらせ：12/23 に後編こうへん記事きじがでました！ tech-blog.monotaro.com こんにちは、データ基盤きばんグループの香川かがわです。現在げんざいモノタロウではBigQueryに社内しゃないのデータを集約しゅうやくし、データ基盤きばんを構築こうちくしています。およそ全ぜん従業じゅうぎょう員いんの6割わりが日々ひびデータ基盤きばんを利用りようしており、利用りよう方法ほうほうや目的もくてきは多岐たきに渡わたります。データ基盤きばんグループはこれまでデータ基盤きばんシステムの開発かいはつ保守ほしゅと利用りよう者しゃのサポートを主おもな業務ぎょうむとして取とり組くんできましたが、これら多岐たきにわたる社内しゃないのデータ利用りようにおける課題かだいの解決かいけつ及およびさらなるデータ活用かつようの高度こうど化かを目的もくてきとして、今年ことしの5月よりデータ管理かんりを専せん門もんに行おこなう組織そしきとして新あらたに体制たいせいを再さい構築こうちくしました。そこで改あらためて組織そしきとして取とり組くむべき課題かだいや方向ほうこう性せいを決きめるために、まず自分じぶんたちの現在地げんざいちを知しることが重要じゅうようと考かんがえ、データ基盤きばんの歴史れきしを振ふり返かえり、社内しゃないのデータ活用かつようにおける課題かだいやそれを取とり巻まく状況じょうきょうがどう変かわってきたのかを
なぜETLではなくELTが流行はやってきたのか - Qiita
- 226 users
- qiita.com/hiro_koba_jp
- テクノロジー
- 2022/12/05
概要がいよう troccoの生うみの親おやで、現げんプロダクト責任せきにん者しゃをしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事きじ目め書かいていきます！（みんなも参加さんかしてね）データ分析ぶんせきやデータエンジニアリングにおいてETL(Extract Transform Load)という言葉ことばを耳みみにしたことがある方ほうは多おおいのではないでしょうか？一方いっぽう、「ETLではなくELT（音楽おんがくグループではない）が主流しゅりゅうになりつつある」といったような論調ろんちょうも増ふえてきました。この記事きじでは、ETLとELTの違ちがいや、なぜELTにシフトしつつあるのか、この先せんどうなるのか（予想よそう）について、私わたしなりの見解けんかいを書かいてみようと思おもいます。一昔ひとむかし前まえまではETLパターンが多おおかった Redshiftが登場とうじょうした2013年ねん頃ごろ、人々ひとびとはデータレイク層そうはS3上じょうで構築こうちくし、データウェアハウス層そう〜データマート層そうはRedshift上じょうに組くむ人ひとが多おおかったよう
[レポート]みんなの考かんがえた最強さいきょうのデータアーキテクチャ #datatechjp | DevelopersIO
- 198 users
- dev.classmethod.jp
- テクノロジー
- 2022/11/08
さがらです。 11月8日にち20時じ～22時じに、datatech-jp(データエンジニアリング関係かんけいのコミュニティ)主催しゅさいでみんなの考かんがえた最強さいきょうのデータアーキテクチャというイベントが開催かいさいされました。本ほん記事きじはこのイベントのレポートブログとなります。イベント概要がいよう ※connpassより引用いんよう datatech-jpで集たかったデータエンジニアが、それぞれみんなの考かんがえた最強さいきょうのデータアーキテクチャを紹介しょうかいし合あうという夢ゆめのような企画きかくが実現じつげんしました！たくさんの新あたらしいプロダクトが群雄割拠ぐんゆうかっきょする現在げんざい、モダンデータスタックなどという言葉ことばも登場とうじょうしています。今いまこそ、どんなプロダクトを選えらび、どのようなデータ基盤きばんを作つくれば、効率こうりつ的てきにやりたいことが実現じつげんできるのか。 5人にんの猛者もさからおすすめの構成こうせいをご紹介しょうかいいただきながら、参加さんか者しゃのみなさんとも一緒いっしょに考かんがえていく時間じかんとしたいと思おもいます。おまけ：当とうイベントの応募おうぼ者しゃ数すうこのイベントですが、なんと
dbtで見みやすいER図ずを生成せいせいする - yasuhisa's blog
- 196 users
- www.yasuhisay.info
- テクノロジー
- 2024/02/03
背景はいけい: dbtを使つかっていてもER図ずは欲ほしい! どうやってER図ずを生成せいせいするかどうやってER図ずを見みやすくするかまとめ背景はいけい: dbtを使つかっていてもER図ずは欲ほしい! dbtはモデル間あいだのリネージなど可視かし化かが得意とくいなツールではありますが、万能ばんのうなわけではありません。モデルの生成せいせい過程かていなどはリネージで担保たんぽできますが、分析ぶんせき時じに「どれとどのモデルがJOINできて、JOINする際さいのキーはこれを使つかって」というER図ずで扱あつかうような可視かし化かはディフォルトではできません。 DWHを作つくっている側がわからすると「このテーブルはあの辺あたりのテーブルと一緒いっしょに使つかうと便利べんりで、いつもあのキーでJOINして」というのが頭あたまの中なかに入はいっていることが多おおいため、ER図ずがなくてもどうにかなることも多おおいでしょう。しかし、分析ぶんせきに慣なれていない人ひとや分析ぶんせきに慣なれている人ひとであっても、普段ふだんと異ことなるドメインのテーブルを触さわるときはER図ずが提供ていきょうしてくれる情報じょうほうは有用ゆうようです。ちなみに
- dbt
- あとで読よむ
- 設計せっけい
- DB
- markdown
- UML
- database
DMBOKを用もちいたアセスメントでデータマネジメントを加速かそくさせる - MonotaRO Tech Blog
- 193 users
- tech-blog.monotaro.com
- テクノロジー
- 2022/07/27
こんにちは、データ基盤きばんグループの吉田よしだ(id:syou6162)です。データ基盤きばんやデータマネジメントに興味きょうみを持もたれている方ほうはDMBOKを持もっている / 読よんだことがあるという方ほうも多おおいのではないでしょうか。このエントリではDMBOK中ちゅうに紹介しょうかいされているデータマネジメント成熟せいじゅく度どアセスメント(以下いか、アセスメントと省略しょうりゃく)をモノタロウでどう活用かつようしているかについて紹介しょうかいします。背景はいけい初手しょて: 自社じしゃのデータ基盤きばんの歴史れきしを振ふり返かえるアセスメントの実施じっしデータ活用かつよう者しゃ / システム提供ていきょう者しゃ / 意思いし決定けってい者しゃへのヒアリングの実施じっしアセスメントを実施じっしした結果けっか最後さいごに背景はいけいまず、モノタロウでなぜアセスメントを行おこなったかについて説明せつめいします。モノタロウは20年ねん以上いじょう歴史れきしのある企業きぎょうであり、データ基盤きばん自体じたいも10年ねん以上いじょうの歴史れきしがあります。単一たんいつ事業じぎょうではあるものの、受注じゅちゅう / 売上うりあげ / 商品しょうひん / 在庫ざいこ / 顧客こきゃく / 行動こうどう履歴りれきなど、対象たいしょうとなるドメ
Apache Iceberg とは何なにか - 流りゅう沙すな河かわ鎮
- 164 users
- bering.hatenadiary.com
- テクノロジー
- 2023/09/24
はじめに概要がいよう Apache Iceberg(アイスバーグ)とは [重要じゅうよう] Icebergの本質ほんしつはTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴とくちょう同時どうじ書かき込こみ時じの整合せいごう性せい担保たんぽ読よみ取とり一貫いっかん性せい、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類しゅるい時間じかん truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能せいのうの最適さいてき化かユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢せんたくし metadata layer metadata files manifest lists manifest f
- Iceberg
- あとで読よむ
- apache
- データベース
- DB
- data
- データ
BigQuery と Snowflake を徹底てってい比較ひかく
- 156 users
- speakerdeck.com/fetaro
- テクノロジー
- 2022/12/21
最初さいしょにBigQueryとSnowflakeの概要がいようと、登場とうじょうの背景はいけいを説明せつめいします。その後ご、ユーザにとっての使つかい勝手がってと、管理かんり者しゃにとっての使つかい勝手がってを、ベンダーフリーな立場たちばでそれぞれします。最後さいごに、BigQueryとSnowflakeどっちが速はやいのか？といった疑問ぎもんに対たいして、アーキテクチャをもとに考察こうさつします。
次世代じせだいデータ基盤きばん：データレイクハウスを Google Cloud で実現じつげんする
- 151 users
- zenn.dev/cloud_ace
- テクノロジー
- 2024/02/22
はじめにこんにちは、クラウドエースデータソリューション部ぶの松本まつもとです。普段ふだんはデータ基盤きばんや MLOps の構築こうちくをしたり、Google Cloud 認定にんていトレーナーとしてトレーニングを提供ていきょうしております。また、昨年さくねんは Google Cloud Partner Top Engineer 2024 に選出せんしゅつされました。今年ことしも Goodle Cloud 界隈かいわいを盛もり上あげていけるよう頑張がんばっていきたいと思おもいます。クラウドエースデータソリューション部ぶについてクラウドエースのITエンジニアリングを担になうシステム開発かいはつ統括とうかつ部ぶの中なかで、特とくにデータ基盤きばん構築こうちく・分析ぶんせき基盤きばん構築こうちくからデータ分析ぶんせきまでを含ふくむ一貫いっかんしたデータ課題かだいの解決かいけつを専門せんもんとするのがデータソリューション部ぶです。弊社へいしゃでは、新あらたに仲間なかまに加くわわってくださる方ほうを募集ぼしゅうしています。もし、ご興味きょうみがあればエントリーをお待まちしております！今回こんかいは、次世代じせだいデータ基盤きばんであるデ
GoogleがBigQueryを安価あんかに提供ていきょうできる理由りゆうは、Borgによる大だい規模きぼ分散ぶんさんコンテナ環境かんきょうがあるから
- 146 users
- www.publickey1.jp
- テクノロジー
- 2020/09/01
GoogleがBigQueryを安価あんかに提供ていきょうできる理由りゆうは、Borgによる大だい規模きぼ分散ぶんさんコンテナ環境かんきょうがあるからいまから6年ねん前まえの2014年ねん、当時とうじようやくDockerコンテナが世よの中なかに知しられるようになってきた頃ころ、Googleはすでに社内しゃないのすべてのソフトウェアをコンテナ化かしており、毎週まいしゅう20億おく個こものコンテナをクラウド上じょうで起動きどうしていると発表はっぴょうし、多おおくのエンジニアを驚おどろかせました。この大だい規模きぼなコンテナの制御せいぎょ、すなわちオーケストレーションを行おこなっていたのが同どう社内しゃないで「Borg」と呼よばれるソフトウェアです。そしてKubernetesはこのBorgを基もとに、Googleがオープンソース化かしたコンテナオーケストレーションソフトウェアだとされています。 Borgの大だい規模きぼ分散ぶんさんコンテナ基盤きばんでBigQueryが成立せいりつするこのBorgによる大だい規模きぼ分散ぶんさんコンテナ基盤きばんがあるからこそ、BigQueryが安価あんかに提供ていきょうできるのだと、Google
- gcp
- あとで読よむ
- bigquery
- Google
- 仮想かそう化か
- techfeed
- AWS
DWHにおけるデータモデリングで大事だいじにしている考かんがえ方かた
- 126 users
- stable.co.jp
- テクノロジー
- 2024/02/02
こんにちは。データエンジニアリングの支援しえんを行おこなっているstable株式会社かぶしきがいしゃの代表だいひょうの宮みや﨑（@ikki_mz）です。弊社へいしゃでは、クライアント社内しゃないのデータウェアハウス（DWH）におけるデータモデリングをサポート...
データ活用かつよう基盤きばんの今いま〜DWH外観がいかん図ず〜 - クックパッド開発かいはつ者しゃブログ
- 122 users
- techlife.cookpad.com
- テクノロジー
- 2019/10/18
こんにちは、今年ことしの1月がつに会員かいいん事業じぎょう部ぶから技術ぎじゅつ部ぶデータ基盤きばんグループへ異動いどうした佐藤さとうです。先日せんじつ、京きょうまふ2019前夜祭ぜんやさいイベントに参加さんかするために人生じんせいで初はじめてピカピカ光ひかる棒ぼうを買かいました。新卒しんそつで入社にゅうしゃしてから2年ねんほど分析ぶんせき作業さぎょうをしていた身みから、データ活用かつよう基盤きばんを作つくる側がわへ立場たちばを変かえました。今回こんかいは新あらたに身みを移うつしたデータ活用かつよう基盤きばんの外観がいかんを説明せつめいしたいと思おもいます。 2017年ねんにも同どう内容ないようの記事きじが投稿とうこうされていますので、当時とうじとの違ちがいを中心ちゅうしんに説明せつめいしていきます。外観がいかん図ず以下いかが2019年ねん10月がつ現在げんざいにおけるクックパッドのデータ活用かつよう基盤きばんの全体ぜんたい像ぞうです。クックパッドのDWH外観がいかん図ず masterデータのインポートがMySQL以外いがいにも複数ふくすう種しゅ対応たいおうし始はじめたことと、PrismとSpectrum（S3＋Glue）周まわりと、Tableau Serverが大おおきな変更へんこう点てんとなっています。2017年ねんの図ずにDmemoはありませんでしたが、記事きじ本文ほんぶんにある通とおり当時とうじか
データウェアハウスのデータモデリングを整理せいりしてみた - Qiita
- 118 users
- qiita.com/zumax
- テクノロジー
- 2024/03/03
概要がいようスタースキーマからスノーフレーク、ギャラクシー、そしてデータボールトやアンカーモデリングまで、各かくスキーマの特徴とくちょう、利点りてん、そして適用てきようシナリオを掘ほり下さげます。スタースキーマスタースキーマを元もとに整理せいりします。スタースキーマまたは星ほし型がたスキーマはデータウェアハウスに利用りようされる最もっとも単純たんじゅんなスキーマである。スタースキーマには唯ただ1つもしくは少数しょうすうのファクト表ひょうと複数ふくすうのディメンション表ひょうが含ふくまれる。スタースキーマはスノーフレークスキーマの一種いっしゅであるが、多おおくの用途ようとで利用りようされている。 DWHに利用りようされる最もっとも単純たんじゅんなスキーマ唯一ゆいいつまたは少数しょうすうのファクトテーブルと、複数ふくすうのディメンションテーブルが含ふくまれるスノーフレークスキーマの一種いっしゅモデルファクト表ひょうはデータウェアハウスでの解析かいせきで利用りようされ、複数ふくすうの異ことなるディメンションに区分くぶんされる。ファクト表ひょうは主要しゅようなデータを持もつ一方いっぽう、ディメンション表ひょうは相対そうたい的てきにサイズが小ちいさくディメン
オラクルとAWSが「Oracle Database＠AWS」発表はっぴょう、AzureやGoogleに続つづく“分散ぶんさんクラウド”提携ていけい
- 117 users
- ascii.jp
- テクノロジー
- 2024/09/10
米べいオラクルと米べいAmazon Web Services（AWS）が2024年ねん9月がつ9日にち（米国べいこく時間じかん）、戦略せんりゃく的てきパートナーシップに基もとづく新あらたなオファリング「Oracle Database＠AWS」を発表はっぴょうした。AWSデータセンターに配置はいちされたインフラを用もちいて、オラクルが「Oracle Exadata Database Service」や「Oracle Autonomous Database」を提供ていきょうする。オラクルでは、“分散ぶんさんクラウド／マルチクラウド戦略せんりゃく”に基もとづき、すでにMicrosoft Azure（Oracle Database＠Azure）やGoogle Cloud（Oracle Database＠Google Cloud）との間あいだで同様どうようのパートナーシップを実現じつげんしている。 Oracle Database＠AWSの提供ていきょうによって、AWSクラウドで稼働かどうするアプリケーションからOracle Database
BigQueryのセキュリティ対策たいさく手順てじゅん
- 116 users
- techblog.kazaneya.com
- テクノロジー
- 2022/08/30
風ふう音おん屋やでは、データエンジニア、データアナリスト、データコンサルタントを募集ぼしゅうしています。書籍しょせき執筆しっぴつ者しゃやOSSコントリビューターなど、業界ぎょうかいを代表だいひょうする20名めい以上いじょうのアドバイザーと一緒いっしょにベストプラクティスを追求ついきゅうできる環境かんきょうです。ぜひカジュアルトークをお申もうし込こみください。風ふう音おん屋やアドバイザーの山田やまだ雄つよし（@nii_yan）です。データ活用かつようにおいてセキュリティ対策たいさくが最さい重要じゅうようトピックであることは言いうまでもありません。風ふう音おん屋やでBigQueryの導入どうにゅう支援しえんを行おこなうにあたって、どのようなセキュリティ対策たいさくを行おこなっているのかをご紹介しょうかいします。この記事きじの全体ぜんたい像ぞうこの記事きじは2つのパートに分わかれています。最初さいしょに、BigQuery導入どうにゅうプロジェクトを始はじめるにあたって、セキュリティ観点かんてんでどのようなコミュニケーションが必要ひつようになるかを説明せつめいします。次つぎに、一般いっぱん的てきな情報じょうほうセキュリティ対策たいさくである「抑止よくし」「予防よぼう」「検知けんち」「回復かいふく」の4つの観点かんてんにもと
データ分析ぶんせき基盤きばんにおける個人こじん情報じょうほうの扱あつかいについて - NRIネットコムBlog
- 107 users
- tech.nri-net.com
- テクノロジー
- 2021/06/01
こんにちは佐々木ささきです。誰だれに望のぞまれた訳わけでもないですが、データ分析ぶんせき基盤きばんの設計せっけいシリーズの第だい三さん弾だんです。今回こんかいのテーマは、データ分析ぶんせき基盤きばんにおける個人こじん情報じょうほう＆パーソナルデータの扱あつかいについてです。ここを最初さいしょに考かんがえておかないと、データ分析ぶんせき基盤きばんは毒どく入いりとなって、扱あつかいづらいものになります。データ分析ぶんせき基盤きばん構築こうちくの肝きもは、データレイクとDWHの分離ぶんり - NRIネットコムBlog データレイクはRAWデータレイク・中間なかまデータレイク・構造こうぞう化かデータレイクの３層そう構造こうぞうにすると良よい - NRIネットコムBlog 個人こじん情報じょうほう＆パーソナルデータと匿名とくめい加工かこうについてまず最初さいしょに個人こじん情報じょうほう＆パーソナルデータの定義ていぎと匿名とくめい加工かこうについて、サラッと確認かくにんしておきましょう。個人こじん情報じょうほう＆パーソナルデータ個人こじん情報じょうほうとは、任意にんいの一個人いっこじんに関かんする情報じょうほうであり、かつその情報じょうほうをもとに個人こじんを特定とくていできるものを指さします。代表だいひょう的てきな個人こじん情報じょうほうとしては、名前なまえ・住所じゅうしょ・電話でんわ番号ばんごう・E-ma
Microsoft Fabricの登場とうじょう - テクテク日記にっき
- 107 users
- marshal115.hatenablog.com
- テクノロジー
- 2023/05/25
米国べいこく時間じかん2023年ねん5月がつ23日にちから開催かいさいされたMicrosoft Buildは、歴史れきし的てきな瞬間しゅんかんとなりました。データアナリティクスの世界せかいにおいて世界せかい初はつとなるエンドツーエンド（E2E）のSaaS*1型がたアナリティクスサービス、Microsoft Fabric（以降いこう「Fabric」）の登場とうじょうです。Microsoft Fabricは業界ぎょうかいの常識じょうしきを覆くつがえすほどのインパクトを持もち、ビッグデータ分析ぶんせき、セルフサービス分析ぶんせき、データサイエンスプロジェクトなど、あらゆるデータニーズを満みたす革新かくしん的てきなクラウドサービスが誕生たんじょうしました。 Microsoft Power BIの製品せいひんチームに所属しょぞくしていることもあり、Fabricについては入社にゅうしゃ時じに知しるようになりました。今回こんかいのMicrosoft Buildでその瞬間しゅんかんに立たち会あえることができ、非常ひじょうに嬉うれしく思おもいます。今いままではPower BIを広ひろめる立場たちばということで他たのAzureサービス*2との関かかわり
今後こんごは「データ指向しこうアプリケーションデザイン」を考かんがえよう(Red Hat Forum講演こうえんフォローアップ記事きじ) - 赤帽あかぼうエンジニアブログ
- 99 users
- rheb.hatenablog.com
- テクノロジー
- 2019/12/11
Red Hatの須江すえです。本ほん記事きじは赤帽あかぼうエンジニア Advent Calendar 2019の10日とおか目めです。子供こどもを皮膚ひふ科かに連つれて行いったりなんだりで、気きづいたら12/11になってますが、細こまかいことは気きにせず進すすめます。セッション資料しりょうと動画どうが redhat.lookbookhq.com redhat.lookbookhq.com 「データ指向しこうアプリケーションデザイン」をメインテーマに選えらんだわけデジタルトランスフォーメーション(DX)がバズワード化かして久ひさしいですが、自分じぶんは常つねに「DXは目的もくてきではなく手段しゅだんなので、DXしたあとにどうありたいかのビジョンを持もち、そこから逆算ぎゃくさんしていまやることを考かんがえる」ことが重要じゅうようだと考かんがえています。ビジョンを持もつためには、まずDX後ごの世界せかいがどうなっているのかをイメージできるようになる必要ひつようがあります。そこで、2019/6/20に開催かいさいされた「DX&Open Hybrid Cl
お手軽てがるな検索けんさくAPI構築こうちく | メルカリエンジニアリング
- 88 users
- engineering.mercari.com
- テクノロジー
- 2021/09/07
こんにちは、メルペイソリューションチーム所属しょぞくエンジニアの＠orfeonです。この記事きじは Merpay Tech Openness Month 2021 5日にち目めの記事きじです。メルペイソリューションチームでは、社内しゃない向むけの技術ぎじゅつコンサルや技術ぎじゅつ研修けんしゅう、部門ぶもんを跨またいだ共通きょうつうの問題もんだいを発見はっけんして解決かいけつするソリューションの提供ていきょうなどを行おこなっています。自分じぶんは主おもに社内しゃないのデータ周まわりの課題かだいを解決かいけつするソリューションを提供ていきょうしており、一部いちぶの成果せいかはOSSとして公開こうかいしています。この記事きじではいろいろな場面ばめんで必要ひつようとされるものの、運用うんよう負荷ふかなどの問題もんだいから導入どうにゅうの敷居しきいが高たかい検索けんさく機能きのうを(条件じょうけん付つきで)簡易かんいに提供ていきょうするためのソリューションを紹介しょうかいします。基本きほん的てきなアイデア全文ぜんぶん検索けんさくや位置いち検索けんさくなど、検索けんさくはいろいろな場面ばめんで必要ひつようとされる機能きのうです。しかしいざ検索けんさくサーバを立たてて運用うんようするとなると、データの整合せいごう性せいやモニタリングなど考かんがえないといけないことも多おおく、利用りように二に
SnowflakeとRedshiftの比較ひかく検証けんしょう
- 86 users
- speakerdeck.com/kurochan
- テクノロジー
- 2020/07/28
300コア近ちかくのRedshiftクラスタを運用うんようしている広告こうこく配信はいしんプロダクトでSnowflakeを検証けんしょうした結果けっかをご紹介しょうかいします。
データ分析ぶんせき基盤きばん構築こうちくの肝きもは、データレイクとDWHの分離ぶんり - NRIネットコムBlog
- 85 users
- tech.nri-net.com
- テクノロジー
- 2021/05/10
こんにちは佐々木ささきです。いろいろなところで口くちを酸すっぱくして言いっているのは、データレイクとDWHを分離ぶんりしろと。とりあえずDWHに放ほうり込こむという考かんがえはあるけど、DWHに入いれる時点じてんでデータの整形せいけいが行おこなわれて、情報じょうほうの欠損けっそんがでてくる。だから、その前まえにデータレイクに生なまのままに入いれること— Takuro SASAKI (@dkfj) 2021年ねん5月がつ1日にちデータレイクとDWHの分離ぶんりについて呟つぶやいたら、それなりの反響はんきょうを頂いただきました。せっかくの機会きかいなので、もう少すこししっかりと解説かいせつしてみます。何故なぜ、データレイクとDWHを分離ぶんりする必要ひつようがあるのか、格納かくのうするデータの構造こうぞうと、データレイク・DWHの役割やくわりの観点かんてんから考かんがえてみましょう。まずは、データの種類しゅるいとして、構造こうぞう化かデータや非ひ構造こうぞう化かデータの説明せつめいをします。その次つぎに、データレイクとDWHなどの用語ようご・役割やくわりの説明せつめいをし、最後さいごにアーキテクチャを考かんがえてみます。構造こうぞう化かデータと半はん構造こうぞう化かデータ、非ひ構
ZOZOTOWNの事業じぎょうを支ささえるBigQueryの話はなし / BigQuery behind ZOZOTOWN
- 85 users
- speakerdeck.com/shiozaki
- テクノロジー
- 2020/07/18
タイムトラベルはじめました〜時じをかけるBigQuery〜 / Now serving Time Machine 〜BigQuery Which Leapt Through Time〜
SQLで始はじめる自然しぜん言語げんご処理しょり - やむやむもやむなし
- 83 users
- ymym3412.hatenablog.com
- テクノロジー
- 2020/12/24
こちらの記事きじはRecruit Engineers Advent Calendar 2020の24日にち目めの記事きじです。メリークリスマス！ adventar.org 仕事しごとの分析ぶんせきで使つかうデータはほとんどがBigQueryに保存ほぞんされているため、基本きほん的てきな分析ぶんせき作業さぎょうの多おおくはBigQueryでSQLを書かくことで行おこなっています。 BigQueryでテキストデータを扱あつかおうと思おもうとSQLではできない or 取とり回まわしが悪わるいことも多おおく、一度いちどPythonでスクリプトを書かいてその結果けっかを再度さいどBigQueryのテーブルに格納かくのうし、Joinして分析ぶんせきに使つかうということをしていました。しかしこのやり方かただとテキストデータを分析ぶんせきしたいときは毎回まいかいPythonのコードを書がきにいかねばならず、またPythonでのテキスト処理しょりも決けっして早はやいとはいえず、せっかくBigQueryでさくさく分析ぶんせきしているのにどうしてもテキスト処理しょりに部分ぶぶんが作業さぎょう時間じかんのボトルネッ
【速報そくほう】 BigQuery の料金りょうきん体系たいけいが変更へんこうされます | DevelopersIO
- 82 users
- dev.classmethod.jp
- テクノロジー
- 2023/03/30
ウィスキー、シガー、パイプをこよなく愛あいする大栗おおぐりです。先程さきほど開催かいさいされたGoogle Data Cloud & AI Summitにて、BigQuery の料金りょうきん体系たいけいの変更へんこうが発表はっぴょうされましたので、レポートします。 Introduction to BigQuery editions Dataset storage billing models BigQuery editions BigQuery で Standard、Enterprise、Enterprise Plus という3種類しゅるいの料金りょうきん階層かいそうが発表はっぴょうされました。これらのエディションは個々ここのワークロードの必要ひつよう性せいに基もとづいて適切てきせつな価格かかく性能せいのう比ひを組くみ合あわせられます。 BigQuery editions は、コンピュートキャパシティのオートスケーリングと、compressed storage（Preview 時じには physical storage と呼よばれて
Startup.fm: スタートアップのためのデータレイク構築こうちくの流ながれ / Startup.fm: Build a Data Lake in steps
- 76 users
- speakerdeck.com/prog893
- テクノロジー
- 2021/06/29
データウェアハウスやログ分析ぶんせき、機械きかい学習がくしゅうといった進化しんかする分析ぶんせき環境かんきょうに柔軟じゅうなんに対応たいおうする「データレイク」は今いまやデータ活用かつように欠かかせないものとなりました。一方いっぽうで、現場げんばでは以下いかのような疑問ぎもんや課題かだいも多おおく出でてきているのではないでしょうか？「データレイク向むけの関連かんれんサービスとか多おおくてなんかよくわからない」「最初さいしょからデー…
メルカリ社しゃが運用うんようする trocco & BigQuery のデータ分析ぶんせき基盤きばんと経済けいざい性せい #GoogleCloudDay / 20210526
- 71 users
- speakerdeck.com/yuzutas0
- テクノロジー
- 2021/05/26
Google Cloud Day: Digital ’21 の発表はっぴょう資料しりょうです。 https://cloudonair.withgoogle.com/events/platinum_primenumber?talk=sessionvideo -----------------------------…
- BigQuery
- DWH
- あとで読よむ
- DataPlatform
- etl
- Mercari
- データ
- メルカリ
- 運用うんよう
［速報そくほう］Amazon AuroraのOLTPとRedshiftのDWHを統合とうごうする「Amazon Aurora zero-ETL integration with Amazon Redshift」発表はっぴょう。AWS re:Invent 2022
- 67 users
- www.publickey1.jp
- テクノロジー
- 2022/11/30
Amazon Web Services（AWS）の年次ねんじイベント「AWS re:Invent 2022」が米べいラスベガスで開催かいさい中ちゅうです。 2日にち目めの基調きちょう講演こうえんには、AWS CEOのAdam Selipsky氏しが生なまバンドの演奏えんそうとともに登場とうじょうしました。 Selipsky氏しは、さまざまなデータを分析ぶんせきする上じょうで多数たすうの分析ぶんせきツールのあいだでデータを転送てんそうしなければならない問題もんだいを指摘してきし、データ転送てんそうツールであるETLがなくなることが同社どうしゃのビジョンだと説明せつめい。新しんサービスとして「Amazon Aurora zero-ETL integration with Amazon Redshift」を発表はっぴょうしました。 Amazon Auroraは高速こうそくなトランザクション処理しょりを特徴とくちょうとするリレーショナルデータベースであり、Amazon Redshiftは大だい規模きぼデータの高速こうそく分析ぶんせきを特徴とくちょうとするデータウェアハウスのサービスです。新しんサービス「Amaz
- reInvent2022
- AWS
- Redshift
- Aurora
- あとで読よむ
- amazon
BigQueryでの集計しゅうけい結果けっかをノーコードでSlackに定期ていき投稿とうこうしてみた - ZOZO TECH BLOG
- 67 users
- techblog.zozo.com
- テクノロジー
- 2021/04/13
こんにちは、DATA-SREチームの塩崎しおざきです。最近さいきん気きになるニュースは「ネコがマタタビを好このむ理由りゆうが蚊かを避さけるためだった1」です。さて、皆みなさんはデータ基盤きばんで集計しゅうけいした結果けっかをどのようにして確認かくにんしていますか。LookerやPower BIなどのBIツールを使つかって綺麗きれいなダッシュボードを作成さくせいしている方ほうも多おおいかと思おもいます。しかし、全員ぜんいんが毎日まいにち確認かくにんすべき数値すうちはSlackなどの全員ぜんいんが日常にちじょう的てきに目めにする場所ばしょへ掲かかげたいです。本ほん記事きじではBigQueryとSlackを連携れんけいさせる機能きのうをノーコードで作成さくせいする方法ほうほうを紹介しょうかいします。従来じゅうらい手法しゅほう BigQueryで集計しゅうけいした結果けっかをSlackに通知つうちするためにはGoogle Apps Script（以下いか、GAS）を用もちいるやり方かたが現在げんざいでは主流しゅりゅうです。GASの文法ぶんぽうはJavaScriptとほぼ同おなじであり、普段ふだん分析ぶんせきをメインで担当たんとうしている人ひとたちには馴染なじみの薄うすい言語げんごです。また、Cloud Functio
N予備校よびこうのデータ分析ぶんせき基盤きばん構築こうちくに向むけた取とり組くみ - ドワンゴ教育きょういくサービス開発かいはつ者しゃブログ
- 66 users
- blog.nnn.dev
- テクノロジー
- 2022/07/22
はじめに昨今さっこんWebに限かぎらずあらゆる事業じぎょう領域りょういきにおいて、蓄積ちくせきされたデータの活用かつようは必要ひつよう不可欠ふかけつ、やっていて当あたり前まえなものになってきているかと思おもいます。これまでこのブログではあまりそういう話題わだいに触ふれてこなかったこともあり、本稿ほんこうでは改あらためてドワンゴ教育きょういくサービスにおけるデータの活用かつように関かんする取とり組くみについて、概要がいようレベルにはなりますがご紹介しょうかいしたいと思おもいます。はじめに N予備校よびこうにおける従来じゅうらいのデータの取とり扱あつかい現在げんざいの取とり組くみ本番ほんばん環境かんきょうのデータのBigQueryへの蓄積ちくせきデータ活用かつようのプロトタイピングそのほかのデータ活用かつように関連かんれんする取とり組くみや展望てんぼう N予備校よびこうのアーキテクチャ・パイプラインの検討けんとう分析ぶんせき対象たいしょうのデータ拡充かくじゅうデータの管理かんり体制たいせい機械きかい学習がくしゅう技術ぎじゅつ等とうの活用かつようおわりに We are hiring! N予備校よびこうにおける従来じゅうらいのデータの取とり扱あつかいまず従来じゅうらいから行おこなわれているN予備校よびこうにおけるデータ活用かつようの取とり組くみについて紹介しょうかいします。現げん
DWHを活用かつようした機械きかい学習がくしゅうプロジェクト/ml-with-dwh
- 65 users
- speakerdeck.com/studio_graph
- テクノロジー
- 2019/12/02
Data Platform Meetup 【vol.2】 https://data-platform-meetup.connpass.com/event/155073/ での発表はっぴょうスライドです。クックパッドにおける，DWHと密みつに連携れんけいした機械きかい学習がくしゅうプロジェクトの話はなしです。
2024年度ねんどサイバーエージェント新卒しんそつ社内しゃない研修けんしゅうの「データモデリング」の資料しりょう公開こうかい | CyberAgent Developers Blog
- 63 users
- developers.cyberagent.co.jp
- テクノロジー
- 2024/06/06
協業きょうぎょうリテールメディアdivでデータエンジニアをしている千せん葉ようです。本日ほんじつは、先日せんじつ弊社へいしゃ内ないで実施じっしをしたAI事業じぎょう本部ほんぶ新人しんじん研修けんしゅうの一部いちぶである「データモデリング」について記載きさいをします。同おなじく講師こうしとして登壇とうだんをした yassun7010 も「データベースの歴史れきし」について、ブログとして公開こうかいをしているため、合あわせて見みていただけると嬉うれしいです。 ※今回こんかいの記事きじ作成さくせいに合あわせて一部いちぶ加筆かひつ修正しゅうせいをしています。基幹きかん系けいと情報じょうほう系けい今回こんかいの研修けんしゅうでは、データモデリングを扱あつかうシステムを基幹きかん系けい情報じょうほう系けいに分わけて説明せつめいをしています。というのも基幹きかん系けいと情報じょうほう系けいでは、そもそもデータの扱あつかわれ方かたやシステムの特性とくせいが異ことなります。基幹きかん系けいシステムではOLTPと呼よばれる処理しょりシステムになっており、オンラインでかつリアルタイムにデータを追加ついか更新こうしんします。そのため、重要じゅうようとなってくるのが多おおくのトランザクション（処理しょり数すう）を正確せいかくにさばくことです。代表だいひょう例れいとしては銀行ぎんこうの
データカタログ特集とくしゅう　データ利り活用かつように向むけたアーキテクチャ6選せん - Findy Tools
- 60 users
- findy-tools.io
- テクノロジー
- 2024/04/04
整備せいびしたデータ基盤きばんを、事業じぎょう部ぶや会社かいしゃ全体ぜんたいで活用かつように持もっていく中なかで「データカタログ」の必要ひつよう性せいが増ぞう々注目ちゅうもくを集あつめています。今回こんかいは、データカタログを導入どうにゅうし、データ利り活用かつように挑いどんでいる6社しゃに、アーキテクチャの工夫くふうポイントからデータカタログ導入どうにゅうによって得えられた効果こうかなどを伺うかがいました。株式会社かぶしきがいしゃ10X事業じぎょう内容ないよう10Xでは「10xを創つくる」をミッションとし、小売こうり向むけECプラットフォーム「Stailer」の提供ていきょうを通つうじて、スーパーやドラッグストア等とうのオンライン事業じぎょう立だち上あげ・運営うんえい支援しえんを行おこなっています。Stailerでは業務ぎょうむ構築こうちくにおけるコンサルティングから、必要ひつような商品しょうひんマスタやお客様きゃくさまアプリ・スタッフ向むけのオペレーションシステム等とうの提供ていきょう、配達はいたつシステムの提供ていきょう、販売はんばい促進そくしんの支援しえんなど、データを分析ぶんせきしながら一気いっき通どおり貫ぬきでの支援しえんを行おこなっています。データカタログ導入どうにゅうの背景はいけい以前いぜんはデータ分析ぶんせきにデータレイクのテーブルがよく利用りようされており、カラムのメタデ
[動画どうが公開こうかい] データ分析ぶんせきを支ささえる技術ぎじゅつデータモデリング再さい入門にゅうもん #devio2022 | DevelopersIO
- 59 users
- dev.classmethod.jp
- テクノロジー
- 2022/07/25
データアナリティクス事業じぎょう本部ほんぶのコンサルティングチームの石川いしかわです。クラスメソッド主催しゅさいのオンラインカンファレンス、Developers.IO 2022にて「データ分析ぶんせきを支ささえる技術ぎじゅつデータモデリング再さい入門にゅうもん」というテーマにてセッション動画どうがと資料しりょうを公開こうかいいたしました。セッション概要がいよう「仏ふつ作つくって魂たましい入いれず」ということわざがありますが、データモデリングせずにDWHという「器うつわ」を導入どうにゅうしただけでは、データ分析ぶんせきは捗はかどりません。データモデリングを考かんがえずに導入どうにゅうしたデータ分析ぶんせき基盤きばんは、データマートの乱立らんりつ、もしくは、データが分わかりにくく、分析ぶんせきに手間てまがかかるため、あまり使つかわれなくなってしまったり、分析ぶんせきに適てきさないテーブル構造こうぞうや構成こうせいによる性能せいのう低下ていか、オーバープロビジョニングによるコスト上昇じょうしょうなどの問題もんだいが考かんがえられます。 DWH（データウェアハウス）のデータモデリングとは何なにか、代表だいひょう的てきなDWHのデータモデリング手法しゅほうの紹介しょうかいと、長所ちょうしょ・短所たんしょ、
DWHにおけるデータモデル　定番ていばんから最新さいしんトレンドまで
- 59 users
- speakerdeck.com/ryotas_data
- テクノロジー
- 2022/12/23
中規模ちゅうきぼ・ミドルTier開発かいはつ組織そしきにおけるDevRelの戦略せんりゃくと実行じっこうと成果せいか - DevRel Guild Conference Mini -
書籍しょせき紹介しょうかい：大だい規模きぼデータ管理かんり(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ぎじゅつブログ
- 59 users
- future-architect.github.io
- テクノロジー
- 2023/05/29
最近さいきん読よんだ書籍しょせきの中なかで非常ひじょうに良質りょうしつな内容ないようでしたので紹介しょうかいしたいと思おもいます。少すこしでも多おおくの方ほうに興味きょうみを持もってもらえることを期待きたいしています。 O’Reilly Japan はじめに私わたし自身じしんがデータ管理かんり（データマネージメント）という観点かんてんでここ数すう年ねん様々さまざまな検討けんとうを行おこなってきていますので前提ぜんていとしてその背景はいけいについて簡単かんたんにまとめてみます。かつてオンプレミスで運用うんようを行おこなっていた時ときは企業きぎょう内ないのデータは完全かんぜんに管理かんりされていました。データウェアハウスを導入どうにゅうしてデータの集約しゅうやく・加工かこうは行おこなわれていましたが、専門せんもんチームがデータ仕様しよう確認かくにんやデータ提供ていきょうまでもすべての責任せきにんを担になっていました。品質ひんしつは高たかいのですが利用りよう者しゃからの要望ようぼう（新あたらしいデータの提供ていきょう、仕様しようの変更へんこう）の対応たいおうについてはスピード大おおきな制約せいやくがありました。また大だい規模きぼなデータを扱あつかうためには多大ただいなコストが必要ひつようという制約せいやくもあります。クラウド技術ぎじゅつによる「スモールスタートを可能かのうとするインフラ」「大だい規模きぼなデータ