BigQueryの人気記事 697件 - はてなブックマーク

1 - 40 件けん / 697件けん

絞しぼり込こみ

検索けんさく対象たいしょう
ブックマーク数すう
期間きかん
セーフサーチ

BigQueryの検索けんさく結果けっか1 - 40 件けん / 697件けん

BigQueryに関かんするエントリは697件けんあります。データ、分析ぶんせき、 google などが関連かんれんタグです。人気にんきエントリには『COVID-19 感染かんせん予測よそく (日本にっぽん版ばん) の公開こうかいについて | Google Cloud 公式こうしきブログ』などがあります。

COVID-19 感染かんせん予測よそく (日本にっぽん版ばん) の公開こうかいについて | Google Cloud 公式こうしきブログ
- 1292 users
- cloud.google.com
- テクノロジー
- 2020/11/17
Google Cloud は今年ことし 8 月がつに Harvard Global Health Institute とのパートナーシップのもとで COVID-19 Public Forecasts を公開こうかいしました。このサービスは予測よそく開始かいし日びから将来しょうらい 14 日間にちかんにおける米国べいこく内ないの COVID-19（新型しんがたコロナウイルス感染かんせん症しょう）陽性ようせい者しゃ数すうや死亡しぼう者しゃ数すうなどの予測よそくを提供ていきょうしています。この度たび、本ほんサービスを日本にっぽんにも拡張かくちょうし、COVID-19 感染かんせん予測よそく（日本にっぽん版ばん）の提供ていきょうを開始かいしします。日本にっぽん版ばんでは予測よそく開始かいし日びから将来しょうらい 28 日間にちかんのあいだに予測よそくされる国内こくないの陽性ようせい者しゃ数すうや死亡しぼう者しゃ数等すうとうの予測よそく値ちを表示ひょうじします。米国べいこくで提供ていきょうしている COVID-19 Public Forecasts は AI と膨大ぼうだいな疫学えきがく的てきデータを組くみ合あわせ、さらに、時とき系列けいれつの予測よそくを扱あつかう斬新ざんしんな機械きかい学習がくしゅうのアプローチを採用さいようすることで実現じつげんしました。米国べいこく向むけのこの初期しょきモデルは今年ことし 8 月がつに初はつ
文春ぶんしゅんオンラインの記事きじ分析ぶんせきを支ささえる爆ばく速そくダッシュボードを作つくるまで｜Shota Tajima
- 908 users
- note.com/shota_tjm
- テクノロジー
- 2022/04/04
従来じゅうらいのGoogleアナリティクスである、ユニバーサルアナリティクス（以下いかUA）のサポートがいよいよ2023年ねん7月がつに終了しゅうりょうすることが、先日せんじつアナウンスされました（※）。昨年さくねん対比たいひやトレンドをチェックすることを考かんがえると、2022年ねん内ないできるだけ早はやめに次世代じせだいのGoogleアナリティクス（以下いかGA4）へ移行いこうしたいWebメディア運営うんえい者しゃも多おおいかと思おもいます。新あたらしいツールの勉強べんきょうや、既存きそんシステムの改修かいしゅうが必要ひつような問題もんだいではありますが、この機会きかいを、データ収集しゅうしゅう・可視かし化かの設計せっけいを見直みなおし、日々ひびの意思いし決定けっていの共通きょうつう言語げんごとしてデータを使つかいやすくするチャンスと捉とらえてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年ねん7月がつ1日にちに終了しゅうりょう。早はやめのGA4移行いこうを推奨すいしょうこのnoteでは、前半ぜんはんでダッシュボードによるデータの可視かし化かにコストをかけるべき理由りゆうを整理せいりします。後半こうはんでは、2021年ねん秋あきに文春ぶんしゅんオンラインのダッシュ
【ノーカット掲載けいさい】オンプレミスかクラウドか。社内しゃないを二分にぶんする論争ろんそうにDeNA南場なんば智子さとこが出だした"答こたえ" | フルスイング by DeNA
- 714 users
- fullswing.dena.com
- テクノロジー
- 2019/08/22
コスト・品質ひんしつともに最高さいこうレベルを実現じつげんしていた、DeNAのオンプレミス。しかし2018年ねん6月がつ、DeNAは全社ぜんしゃ方針ほうしんとしてそのオンプレミスを捨すて、3年ねんの移行いこう期間きかんをかけクラウドに全面ぜんめん移行いこうすることを決定けっていしました。なぜDeNAは経営けいえいの意思いし決定けっていとして、当初とうしょ「3倍ばいのコストになる」と言いわれたクラウド全面ぜんめん移行いこうに踏ふみ切きったのか？本ほん記事きじでは「クラウドシフト決定けっていの判断はんだん」に至いたる経営けいえい者しゃの思おもいを語かたった『Google Cloud Next ’19 in Tokyo』でのDeNA代表だいひょう取締役とりしまりやく会長かいちょう南場なんば智子さとこ（なんばともこ）講演こうえん内容ないようをノーカット掲載けいさいします！「経営けいえいの言語げんご」と「技術ぎじゅつの言語げんご」両方りょうほう話はなせる人材じんざいを信頼しんらいする私わたしがDeNAを立たち上あげたのは、1999年ねん。今いまからちょうど20年ねん前まえです。もともと、経営けいえいコンサルタントをしていました。得意とくいなのは戦略せんりゃくや提携ていけい。それからマーケティングや分析ぶんせきなどですね。一緒いっしょに起業きぎょうした仲間なかまも、同おなじファームから連れん
ゼロから始はじめる、データ分析ぶんせきと可視かし化か - Kyash Product Blog
- 636 users
- blog.kyash.co
- テクノロジー
- 2021/08/18
はじめまして。Kyashでデータエンジニアリングを担当たんとうしているKyashデータマンです。この記事きじでは、Kyash社内しゃないのデータ分析ぶんせきの基礎きそに関かんするドキュメントを紹介しょうかいします。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々さまざまな角度かくどから、公正こうせいなデータの取扱とりあつかいと活用かつようを推進すいしんしています。従来じゅうらいは、一部いちぶの訓練くんれんされた技術ぎじゅつ者しゃがデータ分析ぶんせきを一いち手てに担になっていましたが、社内しゃないでもデータ活用かつようのニーズも多おおく、その担当たんとう者しゃに分析ぶんせきや集計しゅうけいの業務ぎょうむが集中しゅうちゅうするという課題かだいがありました。この課題かだいに対たいして、データへの適切てきせつなアクセス管理かんりを行おこない、そして適切てきせつなBIツールを導入どうにゅうすることで、データを取とり扱あつかう人ひとが自分じぶんでデータ分析ぶんせき・そして活用かつようできるようになることを目指めざしています。アクセス管理かんりには、個人こじん情報じょうほうやそれに準じゅんずる機密きみつデータに対たいして、ポリシータグによるアクセス権けんのコントロール、そしてアクセス権けんのリネージなどのソリューションの導入どうにゅう

デジタル庁ちょうのデータ分析ぶんせき基盤きばん「sukuna」｜デジタル庁ちょう
- 622 users
- digital-gov.note.jp
- テクノロジー
- 2023/06/27
はじめまして。デジタル庁ちょうファクト＆データユニット所属しょぞく、データエンジニアの長谷川はせがわです。本ほん記事きじではデジタル庁ちょう内ないでデータ活用かつようを推進すいしんするための組織そしきと分析ぶんせき基盤きばんについてご紹介しょうかいします。これまでのデジタル庁ちょうnoteと比くらべると、技術ぎじゅつ寄よりの話題わだいが多おおい記事きじとなりますが、庁ちょう内ないのデータ活用かつように興味きょうみのある方ほうはぜひご覧らんください。デジタル庁ちょうのデータ活用かつよう組織そしき「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁ちょうの特徴とくちょうの一ひとつに、デジタル分野ぶんやにおいて各種かくしゅの専門せんもん性せいをもつ「民間みんかん専門せんもん人材じんざい」が多おおく所属しょぞくしていることが挙あげられます。民間みんかんの専門せんもん人材じんざいは、デザイン、プロダクトマネジメント、エンジニアリングなど、領域りょういきごとに「ユニット」と呼よばれる組織そしきを構成こうせいしており（参考さんこう：デジタル庁ちょう - 組織そしき情報じょうほう）、必要ひつように応おうじてさまざまなプロジェクトにアサインされて業務ぎょうむを遂行すいこうする、人材じんざいプールのような役割やくわりを果はたしています。ファクト＆データユニットも
初はじめての技術ぎじゅつ選定せんていを頼たのまれた時ときに大事だいじだったのは俯瞰ふかん的てき・相対そうたい的てきな考かんがえ方かただった - MonotaRO Tech Blog
- 468 users
- tech-blog.monotaro.com
- テクノロジー
- 2021/06/03
背景はいけいお題だい技術ぎじゅつの差別さべつ化か差別さべつ化かから分わかること情報じょうほう資産しさんからToBeを考かんがえる俯瞰ふかん的てき・相対そうたい的てきな技術ぎじゅつ選定せんていこれまでの話はなしから学まなんだこと最後さいごにはじめまして、MonotaROでデータエンジニアをやっています、芝本しばほんです。エンジニアのみなさん、技術ぎじゅつを使つかって何なにか作つくってみるのって楽たのしいですよね。私わたしは、公私こうしともに日々ひび物ぶつ作づくりに励はげんでいます。プライベートだと、最近さいきんはマイクロフロントエンドについて学まなんでいます。技術ぎじゅつを使つかうためには、技術ぎじゅつを学まなばなければいけません。プライベートにおいては、好奇心こうきしんに従したがって自由じゆうに学まなびますよね。とりあえずgit cloneして動うごかしてみたり、書籍しょせきを購入こうにゅうして読よんでみたりします。というようにプライベートでは主おもに次つぎのような選択肢せんたくしがあると思おもいます。書籍しょせきを読よんで好すきなものを選えらぶ実際じっさいに手てを動うごかしてみて好すきなものを選えらぶ人ひとに教おしえてもらって好すきなものを選えらぶ基本きほん的てきにプライベートの場合ばあいは何なに
Looker Studioの魅力みりょくと便利べんりな使つかい方かたを紹介しょうかいします - yasuhisa's blog
- 415 users
- www.yasuhisay.info
- テクノロジー
- 2024/07/22
初はじめて使つかったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々いろいろなBIツールを触さわってきましたが、不満ふまんは色々いろいろありつつも個人こじん的てきに一番いちばんしっくりきて愛着あいちゃくがあるのはLooker Studioです。このエントリでは、その魅力みりょくと便利べんりな使つかい方かたや注意ちゅうい点てんについて書かきます。例れいによって、社内しゃない勉強べんきょう会かい向むけの内容ないようを外そと向むけに公開こうかいしているため、内容ないようの網羅もうら性せいなどは特とくに担保たんぽしていないことにご注意ちゅういください。 Looker Studioの魅力みりょく利用りようのハードルが限かぎりなく低ひくい & Google Workspaceとの連携れんけいが便利べんり複雑ふくざつ過すぎることができないので、諦あきらめが付つけやすいちゃんとBIツールになっている Looker Studioの便利べんりな使つかい方かた多様たようなデータソ
近年きんねんのデータ分析ぶんせき基盤きばん構築こうちくにおける失敗しっぱいはBigQueryを採用さいようしなかったことに全すべて起因きいんしている - データエンジニアの酩酊めいてい日記にっき
- 400 users
- uma66.hateblo.jp
- テクノロジー
- 2019/10/17
久ひさしぶりにペラペラな思おもいつきを書かき捨すてて、寝ねます。 2、3年ねん前まえぐらいにSIerやコンサルでTreasure Dataとか使つかってマネージドDWH作つくろうぜっていう風潮ふうちょうが流行はやって、今いまは運用うんようフェーズに入はいってどこも結構けっこう苦くるしんでるってのが僕ぼくのすごく狭せまい観測かんそく範囲はんいでの印象いんしょう。 AWSのReadshiftしかり。なぜ苦くるしんでるかっていうと、言いうほどスケールしないからであり、言いうほどマネージドじゃないから。 Treasure Dataは基本きほん的てきに割当わりあてメモリが固定こていでオートスケールしないので、ピーク時じに合あわせて必要ひつようなメモリを確保かくほしておかないといけない。そうなるとメモリ使用しよう量りょうとか負荷ふかとかをモニタリングしないといけないわけだけど、Saasだから内部ないぶのアーキテクチャが隠蔽いんぺいされていていちいちサポートに問とい合あわせないといけなかったりする。 Redshiftの場合ばあいはそもそも自前じまえでクラスタ管理かんりしなくちゃいけないのでそれが大変たいへんって
データ基盤きばんにありがちな「何なにを使つかって作つくればよいか？」という問といに対たいする処方箋しょほうせんを用意よういしてみました. - Lean Baseball
- 398 users
- shinyorke.hatenablog.com
- テクノロジー
- 2022/12/01
ちょっと昔むかしまではデータ基盤きばんの管理人かんりにん・アーキテクト, 現在げんざいは思おもいっきりクラウドアーキを扱あつかうコンサルタントになったマンです. 私わたし自身じしんの経験けいけん・スキル・このブログに書かいているコンテンツの関係かんけいで, 「データ基盤きばんって何なにを使つかって作つくればいいの?」的てきなHow（もしくはWhere）の相談そうだん. 「Googleのビッグクエリーってやつがいいと聞きいたけど何なにができるの?」的てきな個別こべつのサービスに対たいするご相談そうだん. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話はなし. 有あり難がたくもこのようなお話はなしをよくお受うけしています. が, （仕事しごと以外いがいの営いとなみにおける）個人こじんとしては毎度まいど同おなじ話ばなしをするのはまあまあ疲つかれるので, データ基盤きばんにありがちな「何なにを使つかって作つくればよいか？」という問といに対たいする処方箋しょほうせんというテーマで, クラウド上じょうでデータ基盤きばんを構築こうちくする際さいのサービスの選えらび方かた（データ基盤きばんに限かぎらず）クラウド料金りょうきんの基本きほん的てきな考かんがえ方かたをGoogle
9時間じかん足たすんだっけ引ひくんだっけ問題もんだい～あるいは、諸しょプログラミング言語げんごはいかにタイムゾーンと向むき合あっているか - エムスリーテックブログ
- 324 users
- www.m3tech.blog
- テクノロジー
- 2023/12/02
私わたしは日付ひづけ時刻じこくの処理しょりが大好だいすきです。タイムゾーンの問題もんだいでデータ抽出ちゅうしゅつが9時じ間あいだ分ぶん漏もれていたとか、朝あさ9時じの始業しぎょう前まえのログが昨日きのう付づけになってしまっていたなんていう問題もんだいが起おこると喜よろこんじゃうタイプ。そんな私わたしにとって、各かくプログラミング言語げんごが標準ひょうじゅんで持もっている日付ひづけ時刻じこく型がたクラスにはそれぞれ思おもうところがあり、今日きょうはちょっとその品評ひんぴょう会かいをしてみたいと思おもいます。エムスリーエンジニアリンググループ、Unit1（製薬せいやく企業きぎょう向むけプラットフォームチーム）三浦みうら(@yuba@reax.work) [記事きじ一覧いちらん ]がお送おくりいたします、エムスリー Advent Calendar 2023の2日にち目めです。至高しこうの日付ひづけ時刻じこく型がたを持もつ言語げんご、BigQuery SQL 不足ふそくはないが蛇足だそく、Java 8 日にち付づけ時刻じこくで画竜点睛がりょうてんせいを欠かいたC# C#よりややまし、Python 型がたは良よい構成こうせい、なのに命名めいめいと処理しょり関数かんすうで損そんしているPostgreSQL まとめ We ar
データ収集しゅうしゅうの基本きほんと「JapanTaxi」アプリにおける実践じっせん例れい
- 321 users
- www.slideshare.net/tetsutarowatanabe
- テクノロジー
- 2020/08/19
データ収集しゅうしゅうの基本きほんとして、データソース毎ごとに典型てんけい的てきなデータ収集しゅうしゅう方法ほうほうを整理せいりして説明せつめいしています。またJapanTaxiアプリにおいてどのように実践じっせんしているかを説明せつめいしています。Read less
エムスリーのデータ基盤きばんを支ささえる設計せっけいパターン - エムスリーテックブログ
- 319 users
- www.m3tech.blog
- テクノロジー
- 2021/10/01
こんにちは、エムスリーエンジニアリンググループの鳥山とりやま (@to_lz1)です。ソフトウェアエンジニアとして製薬せいやく企業きぎょう向むけプラットフォームチーム / 電子でんしカルテチームを兼任けんにんしています。ソフトウェアエンジニアという肩書かたがきではありますが、私わたしは製薬せいやく企業きぎょう向むけプラットフォームチームで長ながらくデータ基盤きばんの整備せいび・改善かいぜんといったいわゆる "データエンジニア" が行おこなう業務ぎょうむにも取とり組くんできました。本日ほんじつはその設計せっけい時じに考かんがえていること / 考かんがえてきたことをデータ基盤きばんの設計せっけいパターンという形かたちでご紹介しょうかいしようかと思おもいます。多おおくの企業きぎょうで必要ひつよう性せいが認識にんしきされるようになって久ひさしい "データ基盤きばん" ですが、まだまだ確立かくりつされた知見ちけんの少すくない領域りょういきかと思おもいます。少すこしでもデータエンジニアリングを行おこなう方ほうの業務ぎょうむの参考さんこうになれば幸さいわいです。データ基盤きばんの全体ぜんたい像ぞう収集しゅうしゅう部分ぶぶんの構成こうせい RDBデータログデータ活用かつよう部分ぶぶんの構成こうせいデータマートの実例じつれい「データ基もと
Google スプレッドシートでテラバイト規模きぼのデータの分析ぶんせきがさらに簡単かんたんに | Google Workspace ブログ
- 312 users
- workspace.google.com
- テクノロジー
- 2020/07/01
Google Workspace を無料むりょうで体験たいけんビジネスメール、ストレージ、ビデオ会議かいぎなど、さまざまな機能きのうをご利用りよういただけます。登録とうろくする ※この投稿とうこうは米国べいこく時間じかん 2020 年ねん 7 月がつ 1 日にちに、Google Cloud blog に投稿とうこうされたものの抄訳しょうやくです。 Google Cloud では、複雑ふくざつなクエリを記述きじゅつできる専門せんもん家かだけではなく、誰だれでもデータの力ちからを利用りようできるようにしたいと考かんがえています。企業きぎょうが新あたらしい社会しゃかいに対応たいおうする際さいには、有用ゆうようなデータに従業じゅうぎょう員いんがアクセスして、情報じょうほうに基もとづいた意思いし決定けっていをすばやく行おこない、ビジネスの成果せいかを向上こうじょうできるようにすることが重要じゅうようです。この目標もくひょうを実現じつげんするために、誰だれでも Google スプレッドシートを使用しようして膨大ぼうだいなデータセットを簡単かんたんに操作そうさできるようにしました。また、データの準備じゅんびと分析ぶんせきの自動じどう化かに役立やくだつインテリジェントな新しん機能きのうも追加ついかしています。組くみ合あわせることでさらに便利べんりに: Bi
データベース研修けんしゅう（SQL基礎きそ編へん）【ミクシィ22新卒しんそつ技術ぎじゅつ研修けんしゅう】
- 311 users
- speakerdeck.com/mixi_engineers
- テクノロジー
- 2022/05/31
22新卒しんそつ技術ぎじゅつ研修けんしゅうで実施じっししたデータベース研修けんしゅう（SQL演習えんしゅう編へん）の講義こうぎ資料しりょうです。動画どうが：https://youtu.be/dseGQ2MZF1U 演習えんしゅう用ようColab Notebook https://colab.research.google.com/github/mixigroup/2022BeginnerTrainingDataBasePublic/blob/master/22db_sql.ipynb データベース基礎きそ編へん https://speakerdeck.com/mixi_engineers/2022-database-training
- SQL
- あとで読よむ
- データベース
- DB
- 研修けんしゅう
- bigquery
- database
- sqlite
- slide
- 基礎きそ
SQLアンチパターン簡単かんたんまとめ
- 306 users
- zenn.dev/yukito0616
- テクノロジー
- 2022/03/29
「SQLアンチパターン」について、自分じぶんの勉強べんきょうがてら内容ないようを簡単かんたんにまとめました。「とりあえずSQLは触ふれてWebアプリが作つくれる」「シンプルなアプリを実務じつむで作つくったことがある」くらいの人ひとが読よむととても勉強べんきょうになると思おもいます。また、「現場げんばでの良よくない設計せっけい」が詳細しょうさいに言語げんご化かされているので、経験けいけん豊富ほうふな人ひとでも新あらたな発見はっけんがあると思おもいます。詳くわしく知しりたい方ほうは是非ぜひ本ほんを買かって実際じっさいに読よんでみて欲ほしいです。第だい一いち章しょう　ジェイウォークパターン 1カラムにコンマ区切くぎりで値ねを入いれて複数ふくすうの紐付ひもつきを表現ひょうげんしようとするなぜダメか検索けんさくしづらい文字もじ列れつカラムの文字数もじすう制限せいげんという暗黙あんもくの制約せいやくを受うけるバリデーションかけられない解決かいけつ策さく交差こうさテーブルの作成さくせい第だい二に章しょう　ナイーブツリーパターン木き構造こうぞうを表現ひょうげんするとき、常つねに親おやのみに依存いぞんする(parent_idだけ持もってしまう) 隣接りんせつリストなぜダメか階層かいそうを深ふかく掘ほろうとするとそのぶんSQLをか
- SQL
- あとで読よむ
- データベース
- DB
- まとめ
- コード
- mysql
全ぜん社員しゃいんからデータ基盤きばんへの問とい合あわせが殺到さっとうして2人ふたりでは捌はけなくなったので仕組しくみで解決かいけつする話はなし〜datatech-jp Casual Talks #2 登壇とうだん後記こうき〜 - MonotaRO Tech Blog
- 305 users
- tech-blog.monotaro.com
- テクノロジー
- 2022/06/23
データ基盤きばんグループの吉本よしもとです。今回こんかいは先日せんじつ開催かいさいされたdatatech-jp Casual Talksで登壇とうだんした内容ないようについて補足ほそくも含ふくめ紹介しょうかいします。 datatech-jp.connpass.com 発表はっぴょう資料しりょうはこちらです。データ基盤きばんに関かかわる問とい合あわせ対応たいおうを仕組しくみで解決かいけつする from 株式会社かぶしきがいしゃMonotaRO Tech Team www.slideshare.net 発表はっぴょう内容ないようの背景はいけい（問とい合あわせ対応たいおうにおける課題かだい）発表はっぴょうしたこと発表はっぴょうの反響はんきょう最後さいごに datatech-jpは主おもにデータエンジニアリングやデータ活用かつように関かかわる方ほうが参加さんかするコミュニティで、DWHやデータマネジメント、データエンジニアリングに関かかわる技術ぎじゅつ、ツールなどについて知見ちけんを共有きょうゆうしたり、輪読りんどく会かいやLT会かいのようなイベントを実施じっししています。オーガナイザーとして同社どうしゃ同僚どうりょうの吉田よしだ(id:syou6162)が参加さんかしています。その中なかでCasual
データ分析ぶんせき基盤きばんまとめ（随時ずいじ更新こうしん）
- 299 users
- zenn.dev/yuichi_dev
- テクノロジー
- 2024/03/15
はじめにデータ分析ぶんせき基盤きばんの資料しりょうを力尽ちからつきるまで追記ついきしていきます。構成こうせい図ずにあるアイコンや記事きじの内容ないようから技術ぎじゅつ要素ようそを調しらべて記載きさいしていますが、不明ふめい分ぶんは未み記載きさいにしています。修正しゅうせいのコメント頂いただければ助たすかります。あと、この記事きじ追加ついかしてっていう要望ようぼうも歓迎かんげいいたします。テンプレート記事きじ公開こうかい日び : 会社かいしゃ名めい（サービス名めい）データソース : データ処理しょり : アウトプット : 画像がぞう URL 2025年ねん 2024/03/14 : 株式会社かぶしきがいしゃエス・エム・エス（カイポケ）データソース : Amazon Aurora データ処理しょり : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社かぶしきがいしゃマイナビデータソース : SQL Server、Amazon S3 データ処理しょり : Embulk、Amazon MWAA、Apache Airflow、Snowf
Pull Requestから社内しゃない全ぜんチームの開発かいはつパフォーマンス指標しひょうを可視かし化かし、開発かいはつチーム改善かいぜんに活いかそう - Hatena Developer Blog
- 297 users
- developer.hatenastaff.com
- テクノロジー
- 2021/03/04
こんにちは。id:shiba_yu36です。MackerelチームでWebアプリケーションエンジニアをしています。最近さいきんの開発かいはつ合宿がっしゅくで、id:syou6162やid:polamjagと一緒いっしょに、社内しゃないの全ぜんチームの開発かいはつパフォーマンスを表あらわす指標しひょうをGitHubのPull Requestから可視かし化かし、開発かいはつチームの改善かいぜんに活かつかせるようにしました。今回こんかいはその紹介しょうかいをします。説明せつめいするサンプルコードは、次つぎのレポジトリで公開こうかいしているので参考さんこうにしてください。ここではGitHubのhatenaオーガニゼーションで集計しゅうけいしていますが、forkして少すこし手直てなおしすれば、別べつのオーガニゼーションの集計しゅうけいも可能かのうになっています。 hatena/pull-request-analysis-sample 開発かいはつチームの改善かいぜんにおけるいくつかの課題かだい感かん開発かいはつチームのパフォーマンス指標しひょうに何なにを使つかうか 4つの指標しひょうのうち何なにからまず集計しゅうけいするか変更へんこうのリードタイム
MySQLで階層かいそう構造こうぞうを扱あつかうための再帰さいき的てきなクエリの実装じっそう方法ほうほうと実用じつよう例れい
- 292 users
- zenn.dev/rescuenow
- テクノロジー
- 2023/03/07
１．はじめに RDBでの階層かいそう構造こうぞうの関係かんけいを持もつデータを扱あつかう上うえで、効率こうりつ的てきなデータの持もち方かたや抽出ちゅうしゅつ方法ほうほうについて検証けんしょうを行おこなっています。結論けつろんから先さきに階層かいそう構造こうぞうを扱あつかう方法ほうほうとして下記かきの種類しゅるいがあります。隣接りんせつリスト経路けいろ列挙れっきょ入いれ子こ集合しゅうごう閉包へいほうテーブル再帰さいきクエリ（WITH RECURSIVE）を使つかうと階層かいそうデータを扱あつかう上うえでのパフォーマンスが得えられます。検索けんさく性せい、更新こうしん量りょう、データ量りょうなど加味かみすると隣接りんせつリストで再帰さいきクエリを用もちいるのがよさそう。２．階層かいそう構造こうぞうを持もつデータの概要がいよう階層かいそう構造こうぞうを持もつデータとは複数ふくすうの要素ようそ（データ）が親子おやこ関係かんけいで結むすびついている構造こうぞうを持もつデータ 1つの要素ようそが複数ふくすうの要素ようその親おやになることができ、また、1つの要素ようそが複数ふくすうの子こ要素ようそを持もつこともあります。ある要素ようそを親おやとして、細分さいぶん化かされた子こ要素ようそであったり、類似るいじする要素ようそを抽象ちゅうしょう化かしたものを親おや要素ようそとするようなデータ。階層かいそう構造こうぞうを持もつデータの例れい組織そしきにおける事業じぎょう部ぶ、
GA4はなぜこんなに「使つかいづらい」のか - ブログ - 株式会社かぶしきがいしゃJADE
- 286 users
- blog.ja.dev
- テクノロジー
- 2023/06/14
JADEファウンダーの長山ながやまです。いよいよ Universal Analytics (以下いかUA) の死しが近ちかづく中なか、Google Analytics 4 (以下いかGA4) が使つかいづらい、という声こえを聞きくことが増ふえてきました。特とくに広告こうこく運用うんよう者しゃにとってはまだまだ使つかいづらいことが多おおい、という点てんは、すでに弊社へいしゃブログでも小西こにしが書かいた通とおりです。しかし、どうしてこうなっているのか、について考察こうさつした記事きじは今いままであまり無なかったように思おもいます。少すこし歴史れきしを振ふり返かえってみましょう。現在げんざいのUAは Google が一いちから開発かいはつしたものではありません。Urchin Software という会社かいしゃが開発かいはつしたアナリティクスサービスを Google が 2005 年ねんに買収ばいしゅうしたものです。Urchin は買収ばいしゅう時点じてんですでに10年ねん近ちかい歴史れきしを持もつソフトウェアで、Web におけるユーザー訪問ほうもんの分析ぶんせきに特とく化かする形かたちでプロダクト開発かいはつが続つづけられていました。現げん
- GA4
- あとで読よむ
- google
- Analytics
- ga
- 開発かいはつ
- 分析ぶんせき
- JADE
- BigQuery
- GoogleAnalytics
Pokémon GO が数すう百ひゃく万まんものリクエストへの対応たいおうを実現じつげんしている方法ほうほう | Google Cloud 公式こうしきブログ
- 279 users
- cloud.google.com
- テクノロジー
- 2021/11/08
※この投稿とうこうは米国べいこく時間じかん 2021 年ねん 10 月がつ 27 日にちに、Google Cloud blog に投稿とうこうされたものの抄訳しょうやくです。ポケモンを捕つかまえたことはありますか？Pokémon GO は何なん百ひゃく万まん人にんもの人ひとがプレイする人気にんきゲームですが、非常ひじょうに優すぐれたスケーラビリティを実現じつげんしています。このブログでは、Pokémon GO のエンジニアリングチームがどのようにこの大だい規模きぼなサービスを管理かんりし、維持いじしているのか、その舞台裏ぶたいうらを紹介しょうかいしています。Niantic Labs のシニアエンジニアリングマネージャーで、 Pokémon GO のサーバーインフラストラクチャチームを率ひきいる James Prompanya 氏しに、この大人気だいにんきゲームを支ささえるアーキテクチャについてお話はなしを伺うかがいました。動画どうがをご覧らんください。 Priyanka: Pokémon GO とは？ James: これは典型てんけい的てきなモバイルゲームではあ
論理ろんりプログラミング言語げんごLogicaでデータサイエンス100本ほんノック
- 267 users
- zenn.dev/koji_mats
- テクノロジー
- 2021/06/25
Googleが発表はっぴょうしたOSSプロジェクトである論理ろんりプログラミング言語げんごLogicaを使つかって、データサイエンス100本ほんノック(構造こうぞう化かデータ加工かこう編へん)の設問せつもんを解ときながらどのような言語げんごかを確認かくにんしていく。 (BigQueryのクエリとして実行じっこうしていく) 最初さいしょに、プログラミング言語げんごLogicaの特徴とくちょうを纏まとめておく。論理ろんり型がたプログラミング言語げんご: このカテゴリではPrologが有名ゆうめい SQLにコンパイルされる: 現状げんじょうBigQueryとPostgreSQLに対応たいおうモジュール機構きこうがある: SQLと比較ひかくした強つよみコンパイラはPythonで書かかれている: Jupyter NotebookやGoogle Colabですぐ始はじめられる Colabでチュートリアルが用意よういされているので、まずこちらからやると良よいと思おもう。コードの見みた目めは関係かんけい論理ろんりの記述きじゅつに似にている。事前じぜんに、データサイエンス100本ほんノックのテーブルデータをBigQu
実践じっせんクリーンアーキテクチャ - 複雑ふくざつ化かした大だい規模きぼECサイトをモダナイズしたモノタロウの事例じれい - エンジニアHub｜Webエンジニアのキャリアを考かんがえる！
- 263 users
- eh-career.com
- テクノロジー
- 2019/12/19
実践じっせんクリーンアーキテクチャ - 複雑ふくざつ化かした大だい規模きぼECサイトをモダナイズしたモノタロウの事例じれいクリーンアーキテクチャのメリットとは？またいかにして導入どうにゅうするか？難解なんかいなイメージのあるクリーンアーキテクチャの概要がいようを採用さいよう事例じれいに学まなびます。今回こんかい、取材しゅざいしたのは工業こうぎょう用よう間接かんせつ資材しざいオンラインストアの「モノタロウ」。サービスの開発かいはつを続つづけていくにつれ、同社どうしゃのシステムは複雑ふくざつ化か、肥大ひだい化かしていき、様々さまざまな課題かだいが生しょうじたそうです。こうした課題かだいに対応たいおうすべく、システムのモダナイゼーションに取とり組くむ際さい、取とり入いれたのは、クリーンアーキテクチャでした。同どうアーキテクチャをどのように実装じっそうしたのか、モノタロウのエンジニア3人にんに聞ききました。受うけ入いれテストを自動じどう化かし、システムの正常せいじょう動作どうさを保証ほしょうユニットテスト導入どうにゅうの秘訣ひけつは「テストを書かくハードルを下さげる」ことクリーンアーキテクチャ化かは、“幹みき”の処理しょりから手てをつけるクリーンアーキテクチャを全社ぜんしゃ的てきに展開てんかい
データ管理かんりに役立やくだつメタデータに関かんする勉強べんきょう会かいを社内外しゃないがいで開催かいさいしました - MonotaRO Tech Blog
- 261 users
- tech-blog.monotaro.com
- テクノロジー
- 2022/03/04
こんにちは、データ基盤きばんグループの吉田よしだ(id:syou6162)です。先日せんじつ、モノタロウ社内しゃないで「データ管理かんりに役立やくだつメタデータ」に関かんする勉強べんきょう会かいを開催かいさいしました。BigQueryのINFORMATION_SCHEMAを中心ちゅうしんとした実例じつれいを豊富ほうふに盛もり込こんだ内容ないようについて話はなしたのですが、社内しゃないに限かぎらず有用ゆうような内容ないようであると思おもうので、広ひろく公開こうかいします。開催かいさいに至いたった背景はいけいモノタロウ社内しゃないでは広ひろくデータ活用かつようが進すすんでおり、GCPのプロジェクトは数すう百ひゃく以上いじょう運用うんようされ、その中なかの多おおくのプロジェクトでBigQueryも使つかわれています。社内しゃないに広ひろく提供ていきょうするDWHやセキュリティなど全社ぜんしゃ的てきなデータ基盤きばんに関かんすることはデータ基盤きばんグループが運用うんよう/管理かんりを行おこなっていますが、社内しゃないのGCPプロジェクト全すべてのデータ管理かんりにデータ基盤きばんグループが深ふかく関かかわっていくのは工数こうすう的てきに困難こんなんです*1。 INFORMATION_SCHEMAなどデータ管理かんりに役やくに立たつメタデータのノウハ
BigQueryでクエリ一いち撃げきで29万まん円えん溶とかしたけど助たすかった人ひとの顔かお
- 254 users
- futurismo.biz
- テクノロジー
- 2024/01/29
SolanaのPublic DataをBigQueryで取得しゅとくしたかった# えー、お笑わらいを一いち席せき. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使つかえるようになったというニュースをたまたまネット推薦すいせん記事きじでみかけた1. おや, 面白おもしろそうだ. ちょっとやってみようかな… BigQueryはさわるのが１年ねん以上いじょうつかってないかも, どうやるんだっけ… とりあえずカラムとかサンプルでちょっとデータをみたいよな, こんな感かんじだっけか？とりあえず動うごかしてみよう, ポチッとな. … 5秒びょうでレスポンスが帰かえってくる. おー、速はやい. えーっと, あれ課金かきんデータ309TB？！いちげきひっさつ、ハサンギロチン2. BigQueryでクエリ一いち撃げき5 秒びょうで29万まん円えん溶とかした人ひとの顔かお# 話題わだいの画像がぞう生成せいせいAI, DALL･Eをつかって BigQueryでお金かね溶とかした人ひとの顔かおを表現ひょうげんしてもらった3. あ
- bigquery
- あとで読よむ
- google
- SQL
- コスト
- cloud
- データ
- GCP
コールセンターの担当たんとう者しゃもSQLを叩たたく。モノタロウのデータドリブンな文化ぶんかに惚ほれた｜株式会社かぶしきがいしゃMonotaRO（モノタロウ）
- 250 users
- note.com/monotaro_note
- テクノロジー
- 2021/06/04
※本ほん記事きじの内容ないようは取材しゅざい時じのものであり、組織そしき名めいや役職やくしょく等とうは取材しゅざい時点じてんのものを掲載けいさいしております。モノタロウの継続けいぞく的てきなビジネス成長せいちょうに伴ともない、月間げっかんセッション数すうや注文ちゅうもん数すうは大幅おおはばな増加ぞうかを続つづけています。指数しすう関数かんすう的てきに増ふえるデータを扱あつかいやすくするための技術ぎじゅつ的てき探求たんきゅうは尽つきません。なかでもデータハブの整理せいり・構築こうちくを中心ちゅうしんに技術ぎじゅつ開発かいはつ・研究けんきゅうに携たずさわるのが、エンジニアの中村なかむらさん（ECシステムエンジニアリング部門ぶもん EC基盤きばんグループコアロジックチーム）です。データ領域りょういきで「冒険ぼうけんしたかった」という彼かれが、モノタロウを選えらんだ理由りゆうや技術ぎじゅつ的てきな面白おもしろさ、今後こんごの展望てんぼうについて話はなしを聞ききました。データが“いくらでも増ふえ続つづける”サービスでのチャレンジ ——はじめに、現在げんざいの業務ぎょうむについて教おしえてください。主おもにデータハブの整理せいりや構築こうちくです。実際じっさいのデータからバッチ処理しょりでデータを作つくり、API化かしていく手法しゅほうを開発かいはつ・研究けんきゅうしています。プラクティスを他たの開発かいはつ者しゃに展開てんかいするなど、
Data Platform Guide - 事業じぎょうを成長せいちょうさせるデータ基盤きばんを作つくるには #DataEngineeringStudy / 20200715
- 244 users
- speakerdeck.com/yuzutas0
- テクノロジー
- 2020/07/15
Data Engineering Study #1 の発表はっぴょう資料しりょうです。 https://forkwell.connpass.com/event/179786/ 当日とうじつの動画どうがはYoutubeで閲覧えつらん可能かのうです。 https://www.youtube.com/watch?v=hFYNuuAaiTg 参考さんこう文献ぶんけん『Software Design (ソフトウェアデザイン) 2020年ねん7月がつ号ごう』 https://amzn.to/30YueL7 『データマネジメントが30分ふんでわかる本ほん』 https://amzn.to/3fmz8Gw
- DWH
- BI
- あとで読よむ
- データ
- data
- slide
- datalake
- platform
- bigquery
データ分析ぶんせきを元もとにFAQサイトを継続けいぞく的てきに改善かいぜんする - yasuhisa's blog
- 242 users
- www.yasuhisay.info
- テクノロジー
- 2020/07/09
FAQサイト、サポート問とい合あわせをせずとも自分じぶんで疑問ぎもんを解決かいけつできて便利べんりですよね。でも、検索けんさくした単語たんごが一いち件けんもヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減へらすために、簡単かんたんなデータ分析ぶんせきを使つかってFAQサイトを継続けいぞく的てきに改善かいぜんする話はなしを書かいてみます。 ...というのも、自分じぶんが仕事しごとで関かかわっているMackerelでは最近さいきんFAQをリニューアルしたからなのでした。 MackerelのFAQではZendesk Guideを利用りようしていますが、Zendesk Guideは便利べんりなAPIが用意よういされているので、それと既存きそんのデータ基盤きばんを組くみ合あわせて改善かいぜんしていく形かたちです。 FAQサイト内ないの検索けんさく語ごを列挙れっきょするまず、FAQサイト内ないでどういった単語たんごが検索けんさくされているのかを列挙れっきょします。Google Tag Manager経由けいゆでFirebase Analyticsにデータを飛とばすと閲覧えつらん状じょう況きょうが分わかりますが、そのログをBi
MonotaROのデータ基盤きばん10年ねん史し（前編ぜんぺん） - MonotaRO Tech Blog
- 238 users
- tech-blog.monotaro.com
- テクノロジー
- 2021/10/26
おしらせ：12/23 に後編こうへん記事きじがでました！ tech-blog.monotaro.com こんにちは、データ基盤きばんグループの香川かがわです。現在げんざいモノタロウではBigQueryに社内しゃないのデータを集約しゅうやくし、データ基盤きばんを構築こうちくしています。およそ全ぜん従業じゅうぎょう員いんの6割わりが日々ひびデータ基盤きばんを利用りようしており、利用りよう方法ほうほうや目的もくてきは多岐たきに渡わたります。データ基盤きばんグループはこれまでデータ基盤きばんシステムの開発かいはつ保守ほしゅと利用りよう者しゃのサポートを主おもな業務ぎょうむとして取とり組くんできましたが、これら多岐たきにわたる社内しゃないのデータ利用りようにおける課題かだいの解決かいけつ及およびさらなるデータ活用かつようの高度こうど化かを目的もくてきとして、今年ことしの5月よりデータ管理かんりを専せん門もんに行おこなう組織そしきとして新あらたに体制たいせいを再さい構築こうちくしました。そこで改あらためて組織そしきとして取とり組くむべき課題かだいや方向ほうこう性せいを決きめるために、まず自分じぶんたちの現在地げんざいちを知しることが重要じゅうようと考かんがえ、データ基盤きばんの歴史れきしを振ふり返かえり、社内しゃないのデータ活用かつようにおける課題かだいやそれを取とり巻まく状況じょうきょうがどう変かわってきたのかを
【Elasticsearch】1900万まん点てんに及およぶ商品しょうひんデータ作成さくせいの時間じかんを約やく67%短縮たんしゅくできた構成こうせいと工夫くふう - MonotaRO Tech Blog
- 231 users
- tech-blog.monotaro.com
- テクノロジー
- 2022/10/18
初はじめまして、EC基盤きばんグループサーチチームの壷井つぼいです。モノタロウでは2019年ねん10月がつ頃ごろより新規しんき検索けんさくシステムの設計せっけい・開発かいはつを進すすめ、今年ことしの4月がつ頃ごろにECサイト(monotaro.com) 検索けんさくページの裏側うらがわの検索けんさくシステムを従来じゅうらいのSolrからElasticsearchに100%移行いこう*1しました。この移行いこうは将来しょうらいの商品しょうひん点数てんすうやリクエスト数すうの増加ぞうかを見据みすえたバックエンドの大だい規模きぼな改修かいしゅうで、ここまで約やく2年ねん半はんほどプロジェクトを進すすめてきました。今後こんごもECサイトのすべてのページの完全かんぜん移行いこうに向むけ引ひき続つづき開発かいはつ・運用うんようを行おこなっていきます。今回こんかいはこのプロジェクトのなかで私わたしが担当たんとうしてきたElasticsearchへの日々ひびのデータの洗あらい替かえ（日次にちじ更新こうしんと呼よんでいます）ワークフローのシステム構成こうせいと工夫くふうなどについてお話はなしします。モノタロウの検索けんさくシステムの紹介しょうかい日次にちじ更新こうしんのシステム構成こうせい処理しょりの流ながれ ① リアルタイムデータ同期どうき ② 日次にちじ商品しょうひんデー
なぜETLではなくELTが流行はやってきたのか - Qiita
- 226 users
- qiita.com/hiro_koba_jp
- テクノロジー
- 2022/12/05
概要がいよう troccoの生うみの親おやで、現げんプロダクト責任せきにん者しゃをしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事きじ目め書かいていきます！（みんなも参加さんかしてね）データ分析ぶんせきやデータエンジニアリングにおいてETL(Extract Transform Load)という言葉ことばを耳みみにしたことがある方ほうは多おおいのではないでしょうか？一方いっぽう、「ETLではなくELT（音楽おんがくグループではない）が主流しゅりゅうになりつつある」といったような論調ろんちょうも増ふえてきました。この記事きじでは、ETLとELTの違ちがいや、なぜELTにシフトしつつあるのか、この先せんどうなるのか（予想よそう）について、私わたしなりの見解けんかいを書かいてみようと思おもいます。一昔ひとむかし前まえまではETLパターンが多おおかった Redshiftが登場とうじょうした2013年ねん頃ごろ、人々ひとびとはデータレイク層そうはS3上じょうで構築こうちくし、データウェアハウス層そう〜データマート層そうはRedshift上じょうに組くむ人ひとが多おおかったよう
SQLを使つかった監視かんしでデータ基盤きばんの品質ひんしつを向上こうじょうさせる - MonotaRO Tech Blog
- 216 users
- tech-blog.monotaro.com
- テクノロジー
- 2021/08/24
こんにちは、データ基盤きばんグループの吉田よしだ(id:syou6162)です。データ基盤きばんグループでは安定あんていしてデータを利用りようできるように様々さまざまな取とり組くみを行おこなっています。本ほんエントリでは、データ品質ひんしつに問題もんだいがある場合ばあいにすぐに気き付つけるようにしたSQLによる監視かんしの仕組しくみを紹介しょうかいします。背景はいけい SQLを使つかった監視かんし基盤きばんの構築こうちく実際じっさいの監視かんし項目こうもく例れい他たチームがdailyで転送てんそうしているデータがバッチの失敗しっぱいにより遅おくれていないか BigQueryのエラーレートが急激きゅうげきに増加ぞうかしていないか承認しょうにん済ずみビューの設定せっていが意図いとせず消きえていないか今後こんごの展望てんぼう背景はいけいデータ基盤きばんの運用うんようをしていると、日々ひび様々さまざまなトラブルと向むき合あう必要ひつようがあります。例たとえば、以下いかのようなものがあります。他たチームがdailyで転送てんそうしているデータがバッチの失敗しっぱいにより遅おくれている TerraformなどのIaCで承認しょうにん済ずみビューの権限けんげん管理かんりを行おこなっているが、コードの設定せっていミスで意図いとせぬ状態じょうたい
セキュリティガードレールを作つくって、非ひエンジニアに安心あんしんしてGCPを提供ていきょうできるようにした話はなし - MonotaRO Tech Blog
- 203 users
- tech-blog.monotaro.com
- テクノロジー
- 2021/07/06
はじめまして、モノタロウでGCPの管理かんりをしている吉本よしもとです。今回こんかいはモノタロウの社内しゃない全体ぜんたいでデータ基盤きばんとして使つかっているGCPをテーマに、大だい規模きぼ組織そしきにおけるクラウド運用うんようの取とり組くみをお話はなしします。データ民主みんしゅ化かによる現場げんば主導しゅどうのデータ活用かつようクラウドの利用りよう拡大かくだいに伴ともなう課題かだい Cloud Asset Inventoryを利用りようしたセキュリティガードレールの構築こうちくまとめデータ民主みんしゅ化かによる現場げんば主導しゅどうのデータ活用かつよう最近さいきん、データの活用かつよう・推進すいしんが様々さまざまな企業きぎょうで実施じっしされるようになってきました。特とくに2018年ねんあたりからデータ民主みんしゅ化かと呼よばれる、職種しょくしゅに問とわず自みずからデータを集計しゅうけい・分析ぶんせきして意思いし決定けっていをする文化ぶんかが広ひろまるようになった結果けっか、非ひエンジニアがSQLを書かく事例じれいが増ふえています。*1 *2 モノタロウでも職種しょくしゅ問とわずデータドリブンな意思いし決定けっていを推進すいしんしています。 2017年ねんにデータ基盤きばんをBigQueryに構築こうちくして以降いこう、積極せっきょく的てきにSQLなどの研修けんしゅうな
GitHub Actionsのワークフローを可視かし化かするactions-timelineを作つくった
- 201 users
- zenn.dev/cybozu_ept
- テクノロジー
- 2023/10/17
最初さいしょに作つくったのがCIAnalyzerです。なるべくツール自体じたいの運用うんようの手間てまがかからないように常駐じょうちゅうサーバー無なし、データの保存ほぞん先さきと可視かし化かはマネージドサービスを使つかう前提ぜんていで設計せっけいしました。具体ぐたい的てきにはデータの保存ほぞん先さきをBigQueryとすることによって自前じまえでDBを管理かんりする必要ひつようをなくし、webhookを受うけるのではなくcronで定期ていき的てきにAPIを叩たたくことで常駐じょうちゅうサーバーを不要ふようにし、データの可視かし化かはBigQueryと簡単かんたんに連携れんけいできてマネージドサービスであるLooker Studioを使用しようする前提ぜんていとしました。 CIAnalyzerのアーキテクチャ CIAnalyzerを作つくったきっかけはAzure Pipelineの分析ぶんせき機能きのうに感銘かんめいを受うけたことで、それと同等どうとうの分析ぶんせきを当時とうじ自分じぶんが業務ぎょうむとプライベートで使用しようしていたJenkins, CircleCI, Bitrise, GitHub Actionsでも可能かのうにしたいと思おもって開発かいはつを
- github
- CI
- あとで読よむ
- actions
- monitoring
- 開発かいはつ
- Jenkins
- visualization
- API
GCPで構築こうちくする、これからの変化へんかに対応たいおう出来できるデータ分析ぶんせき基盤きばんの作つくり方かた
- 199 users
- speakerdeck.com/rtechkouhou
- テクノロジー
- 2021/03/04
2020/3/31 Google Cloud Data Platform Dayでの、山田やまだ、佐伯さえき、白鳥はくちょうの講演こうえん資料しりょうになります
これからのZOZOを支ささえるログ収集しゅうしゅう基盤きばんを設計せっけいした話はなし / Log collection infrastructure to support ZOZO in the future
- 197 users
- speakerdeck.com/shiozaki
- テクノロジー
- 2021/12/27
これからのZOZOを支ささえるログ収集しゅうしゅう基盤きばんを設計せっけいした話はなし / Log collection infrastructure to support ZOZO in the future
データ基盤きばんをサーバーレスで構築こうちくしたので概要がいようを紹介しょうかい - Adwaysエンジニアブログ
- 195 users
- blog.engineer.adways.net
- テクノロジー
- 2022/01/07
あけましておめでとうございます。本年ほんねんもよろしくお願ねがいいたします。久ひさしぶりに登場とうじょうしました菊池きくちです。僕ぼくは昨年さくねんから新あたらしいデータ基盤きばんを構築こうちくするプロジェクトを担当たんとうしておりまして、最近さいきんシステムが無事ぶじに実じつ稼働かどうしてホッと一息ひといきしたところです。思おもい起おこせば入社にゅうしゃ時じはインフラ担当たんとう部署ぶしょに配属はいぞくだったのが、広告こうこく配信はいしんシステムの開発かいはつをやったり、カジュアルゲーム作つくったり。新規しんき事業じぎょうのスマホアプリを作つくりつつサーバーサイドの API を作つくって立たち上あげたり、海外かいがい向むけのサービスを作つくったり。いつのまにかメディア運営うんえいに関かかわったりしてきましたが、最近さいきんはデータ基盤きばんの開発かいはつもやってます。そんなキャリアを歩あゆんできましたが、いつか森もりの中なかの開あけた草原そうげんにあるネット環境かんきょうの整ととのったポツンと一軒家いっけんやで、庭にわにチャボを放ひ飼にしつつ養蜂ようほうをやってみたいと思おもっています。話はなしは戻もどりますが、今回こんかいはこの稼働かどうしたてホカホカ状態じょうたいのデータ基盤きばんについて概要がいようを紹介しょうかいしたいと思おもいます。よろ
データ基盤きばんを支ささえる技術ぎじゅつ
- 194 users
- speakerdeck.com/chanyou0311
- テクノロジー
- 2024/05/10
主おもにクラウドの話はなしてます - 広島ひろしまでの登壇とうだん資料しりょうです。 https://omoni-cloud.connpass.com/event/315682/
BigQueryを分わかりやすく！ハンズオンで始はじめるGoogle Cloudのデータ分析ぶんせきサービスと可視かし化かツールの使つかい方かた｜ハイクラス転職てんしょく・求人きゅうじん情報じょうほうサイト AMBI（アンビ）
- 193 users
- en-ambi.com
- テクノロジー
- 2022/12/22
ハイクラス求人きゅうじんTOPIT記事きじ一覧いちらんBigQueryを分わかりやすく！ハンズオンで始はじめるGoogle Cloudのデータ分析ぶんせきサービスと可視かし化かツールの使つかい方かた BigQueryを分わかりやすく！ハンズオンで始はじめるGoogle Cloudのデータ分析ぶんせきサービスと可視かし化かツールの使つかい方かた Googleの高度こうどな技術ぎじゅつを利用りようできるGoogle Cloudにおいて、BigQueryは大だい規模きぼデータをスケーラブルに分析ぶんせきできるフルマネージドなデータウェアハウスとして提供ていきょうされています。株式会社かぶしきがいしゃタイミーでデータエンジニアを務つとめる土川つちかわ稔みのる生せいさんが、初心者しょしんしゃ向むけのハンズオンとともにBigQueryの基本きほんを解説かいせつします。はじめまして。株式会社かぶしきがいしゃタイミーでデータエンジニアをしている土川つちかわ（@tvtg_24）です。タイミーでは、Google Cloudのデータ分析ぶんせきサービスであるBigQueryを中心ちゅうしんに、データ基盤きばんを構築こうちくしています。BigQu
BigQueryへMySQLやPostgreSQLから直接ちょくせつニアリアルタイムでレプリケーション可能かのうに。「Datastream for BigQuery」登場とうじょう
- 192 users
- www.publickey1.jp
- テクノロジー
- 2022/09/20
BigQueryへMySQLやPostgreSQLから直接ちょくせつニアリアルタイムでレプリケーション可能かのうに。「Datastream for BigQuery」登場とうじょう Google Cloudは、BigQueryに対たいしてMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接ちょくせつデータのレプリケーションを可能かのうにする新しんサービス「Datastream for BigQuery」をプレビューリリースしました。オンプレミスやクラウドで稼働かどうするMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作そうさが、ETLツールなどを挟はさむことなくほぼリアルタイムでBigQueryに反映はんえいされるため、プライマリとなるデータベースのOLTP処理しょりに負荷ふかをかけることなく並行へいこうしてBigQueryによる大だい規模きぼデータの分析ぶんせき処理しょりが容易よういになります。 To stay compet
- bigquery
- あとで読よむ
- MySQL
- gcp
- postgresql
- google
- データベース
- DB
- database