(Translated by https://www.hiragana.jp/)
为什么分拣出来的结果会包含其他阶段 · Issue #100 · williamfzc/stagesepx · GitHub
Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

为什么分拣出来でき的てき结果会かい包含ほうがん其他阶段 #100

Open
ssfanli opened this issue Mar 8, 2020 · 17 comments
Open

为什么分拣出来でき的てき结果会かい包含ほうがん其他阶段 #100

ssfanli opened this issue Mar 8, 2020 · 17 comments

Comments

@ssfanli
Copy link

ssfanli commented Mar 8, 2020

现象

人工じんこう按照如下阶段分ぶん拣照片へん：
0 - 手て机つくえ桌面
1 - App启动过程中ちゅう的てきlogo
2 - 闪屏广告
3 - 首くび页框架か出で现
4 - 首くび页完全ぜん加か载
但ただし是ぜ，无论是ぜ用ようSVMClassifier还是KerasClassifier分ぶん类器，分ふん拣出来でき的てき结果总还包含ほうがん其他内容ないよう，如下面めん的てき0阶段（0阶段本来ほんらい应该只ただ有ゆう1～21帧）

SVMClassifier分ぶん拣结果はて

('0',
              [[<ClassifierResult stage=0 frame_id=1 timestamp=0.0>,
                <ClassifierResult stage=0 frame_id=2 timestamp=0.016666666666666666>,
                <ClassifierResult stage=0 frame_id=3 timestamp=0.03333333333333333>,
                <ClassifierResult stage=0 frame_id=4 timestamp=0.05>,
                <ClassifierResult stage=0 frame_id=5 timestamp=0.06666666666666667>,
                <ClassifierResult stage=0 frame_id=6 timestamp=0.08333333333333334>,
                <ClassifierResult stage=0 frame_id=7 timestamp=0.1>,
                <ClassifierResult stage=0 frame_id=8 timestamp=0.11666666666666667>,
                <ClassifierResult stage=0 frame_id=9 timestamp=0.13333333333333333>,
                <ClassifierResult stage=0 frame_id=10 timestamp=0.15000000000000002>,
                <ClassifierResult stage=0 frame_id=11 timestamp=0.16666666666666669>,
                <ClassifierResult stage=0 frame_id=12 timestamp=0.18333333333333335>,
                <ClassifierResult stage=0 frame_id=13 timestamp=0.2>,
                <ClassifierResult stage=0 frame_id=14 timestamp=0.21666666666666667>,
                <ClassifierResult stage=0 frame_id=15 timestamp=0.23333333333333334>,
                <ClassifierResult stage=0 frame_id=16 timestamp=0.25>,
                <ClassifierResult stage=0 frame_id=17 timestamp=0.26666666666666666>,
                <ClassifierResult stage=0 frame_id=18 timestamp=0.2833333333333333>,
                <ClassifierResult stage=0 frame_id=19 timestamp=0.30000000000000004>,
                <ClassifierResult stage=0 frame_id=20 timestamp=0.3166666666666667>,
                <ClassifierResult stage=0 frame_id=21 timestamp=0.33333333333333337>],
               [<ClassifierResult stage=0 frame_id=60 timestamp=0.9833333333333334>,
                <ClassifierResult stage=0 frame_id=61 timestamp=1.0>]])

KerasClassifier分ぶん拣结果はて

('0',
              [[<ClassifierResult stage=0 frame_id=1 timestamp=0.0>,
                <ClassifierResult stage=0 frame_id=2 timestamp=0.016666666666666666>,
                <ClassifierResult stage=0 frame_id=3 timestamp=0.03333333333333333>,
                <ClassifierResult stage=0 frame_id=4 timestamp=0.05>,
                <ClassifierResult stage=0 frame_id=5 timestamp=0.06666666666666667>,
                <ClassifierResult stage=0 frame_id=6 timestamp=0.08333333333333334>,
                <ClassifierResult stage=0 frame_id=7 timestamp=0.1>,
                <ClassifierResult stage=0 frame_id=8 timestamp=0.11666666666666667>,
                <ClassifierResult stage=0 frame_id=9 timestamp=0.13333333333333333>,
                <ClassifierResult stage=0 frame_id=10 timestamp=0.15000000000000002>,
                <ClassifierResult stage=0 frame_id=11 timestamp=0.16666666666666669>,
                <ClassifierResult stage=0 frame_id=12 timestamp=0.18333333333333335>,
                <ClassifierResult stage=0 frame_id=13 timestamp=0.2>,
                <ClassifierResult stage=0 frame_id=14 timestamp=0.21666666666666667>,
                <ClassifierResult stage=0 frame_id=15 timestamp=0.23333333333333334>,
                <ClassifierResult stage=0 frame_id=16 timestamp=0.25>,
                <ClassifierResult stage=0 frame_id=17 timestamp=0.26666666666666666>,
                <ClassifierResult stage=0 frame_id=18 timestamp=0.2833333333333333>,
                <ClassifierResult stage=0 frame_id=19 timestamp=0.30000000000000004>,
                <ClassifierResult stage=0 frame_id=20 timestamp=0.3166666666666667>,
                <ClassifierResult stage=0 frame_id=21 timestamp=0.33333333333333337>],
               [<ClassifierResult stage=0 frame_id=48 timestamp=0.7833333333333334>,
                <ClassifierResult stage=0 frame_id=49 timestamp=0.8>,
                <ClassifierResult stage=0 frame_id=50 timestamp=0.8166666666666668>,
                <ClassifierResult stage=0 frame_id=51 timestamp=0.8333333333333334>,
                <ClassifierResult stage=0 frame_id=52 timestamp=0.8500000000000001>],
               [<ClassifierResult stage=0 frame_id=60 timestamp=0.9833333333333334>,
                <ClassifierResult stage=0 frame_id=61 timestamp=1.0>],
               [<ClassifierResult stage=0 frame_id=89 timestamp=1.4666666666666668>,
                <ClassifierResult stage=0 frame_id=90 timestamp=1.4833333333333334>,
                <ClassifierResult stage=0 frame_id=91 timestamp=1.5>,
                <ClassifierResult stage=0 frame_id=92 timestamp=1.5166666666666668>,
                <ClassifierResult stage=0 frame_id=93 timestamp=1.5333333333333334>,
                <ClassifierResult stage=0 frame_id=94 timestamp=1.55>,
                <ClassifierResult stage=0 frame_id=95 timestamp=1.5666666666666669>,
                <ClassifierResult stage=0 frame_id=96 timestamp=1.5833333333333335>,
                <ClassifierResult stage=0 frame_id=97 timestamp=1.6>]])

问题

所以ゆえん想そう请教一下几个问题，也是使用しよう过程中ちゅう的てき几个疑惑ぎわく：

  1. 像ぞう如上じょじょう描述的てき这种情じょう况应该如何なん修おさむ改あらため参さん数すう呢？
  2. 训练模型もけい的てき时候同一どういつ个阶段だん相似そうじ度ど较高的てき帧是要よう越えつ多た越えつ好こう还是只ただ取と几张就行呢？
  3. 训练好このみ的てき模型もけい能のう使用しよう于不同どう机つくえ型がた，如iPhone XR和わiPhone 7，或ある者もの安あん卓たく和わiOS呢？（#88提ひさげ到いた是ぜ不ふ是ぜ可か以用keras训练解かい决这个问题）

报告

reporter.zip

Thanks～
@williamfzc
Copy link
Owner

  1. 像ぞう如上じょじょう描述的てき这种情じょう况应该如何なん修おさむ改あらため参さん数すう呢？

最さい好こう附ふ一下你取的训练集（截几个图也可以），不ふ然しか也没法ほう判断はんだん选的训练集しゅう对不对。
不ふ过我猜是因いん为1阶段的てき图形态太单一导致的てき，使つかい得とく在ざい60帧的时候模型もけい认为这帧长得比ひ较像0阶段。

训练模型もけい的てき时候同一どういつ个阶段だん相似そうじ度ど较高的てき帧是要よう越えつ多た越えつ好こう还是只ただ取と几张就行呢？

一般情况来说是越多越好，有ゆう个原则是，阶段形がた态越复杂（该阶段だん可能かのう发生的てき情景じょうけい越えつ多た），你需要よう扔进去的てき训练集しゅう要よう相しょう应增加ぞうか。如果是非ぜひ常つね静せい态且固定こてい的てき，不用ふよう太ふと多おお。

训练好このみ的てき模型もけい能のう使用しよう于不同どう机つくえ型がた，如iPhone XR和わiPhone 7，或ある者もの安あん卓たく和わiOS呢？（#88提ひさげ到いた是ぜ不ふ是ぜ可か以用keras训练解かい决这个问题）

是ぜ的てき，keras分ぶん类器目前もくぜん是ぜ可か以适应不同ふどう分ぶん辨べん率りつ。后きさき续对于固定こてい场景的てき全ぜん自じ动化，也更推荐使用しようkeras。
但ただし是ぜ至いたり于说安やす卓たく与あずかios能否のうひ用よう一いち个模型がた，取と决于你的app在ざい这两者しゃ上じょう运行形がた态的差さ异大小しょう。

@ssfanli
Copy link
Author

ssfanli commented Mar 8, 2020

好こう的てき，非常ひじょう感かん谢，如下是ぜ我わが截的训练集しゅう的てき图
0
1
2
3
4

@williamfzc
Copy link
Owner

看み起おこり来らい应该就是我わが上面うわつら说的那な个原因げんいん，因いん为阶段だん1并不是ぜ静せい态的，还包含ほうがん了りょう一いち个动画が过程：

image

image

最さい好こう将しょう这些过程都と加入かにゅう到いた阶段1的てき训练集中しゅうちゅう，让模型がた将はた他た们都拟合到いた同どう一いち个类别中。

@ssfanli
Copy link
Author

ssfanli commented Mar 8, 2020

嗯嗯，我わが试下，3Q～

@ssfanli
Copy link
Author

ssfanli commented Mar 8, 2020

还有一いち个疑问，虽然看みstagesepx的てき相しょう关wiki都と提ひっさげ到いた最さい好こう使用しよう外がい置おけ设备或ある高速こうそく摄像设备采さい集しゅう视频，但ただし这毕竟有较高的てき成本なりもと，也不是ぜ很方便びん，所以ゆえん我わが这目前まえ都と是ぜ用よう手しゅ机つくえ自じ带录屏へい功こう能のう来らい录取视频。
那な像ぞう这种情じょう况需要じゅよう在ざい初はつ始はじめ化かVideoObject时候用ようffmpeg处理fps么，比ひ如XR通常つうじょう录屏的てき帧率是ぜ58左右さゆう，是ぜ否ひ需要じゅよう调整到いた60帧或30帧，还是说默认即可か？

@williamfzc
Copy link
Owner

软件录制+ffmpeg是ぜ目前もくぜん比ひ较推荐的方式ほうしき，平衡へいこう了りょう使用しよう成本なりもと与あずか准じゅん确度。这种方式ほうしき目前もくぜん在ざい实验中表なかおもて现不错，与あずか外そと置おけ摄像机つくえ的てき误差较小。但ただし值得注意ちゅうい的てき一点就是必须使用 ffmpeg，否いや则在一いち些情况下（例れい如直接ちょくせつ用ようadb录制）结果差さ异会非常ひじょう大だい。

当然とうぜん如果有ゆう外がい置おけ摄像头也是ぜ很好的てき，目前もくぜん软件录制可能かのう存在そんざい的てき问题有ゆう两个：

  • 低てい端はし机つくえ器き在ざい极端情じょう况下可能かのう会かい掉帧（一些东西录不到）
  • 游ゆう戏等高だかfps场景可能かのう帧数不足ふそく

@ssfanli
Copy link
Author

ssfanli commented Mar 8, 2020

嗯了解りょうかい，那な用ようffmpeg把わ视频的てきfps转换到多少たしょう合あい适呢？
我わが下した午うま试了下か将はたiPhone7录制的てき24帧转成なり30/60/120，结果差さ别还不ふ小しょう～
所以ゆえん，这块应该如何いか把握はあく呢？

@williamfzc
Copy link
Owner

williamfzc commented Mar 8, 2020 •
edited
Loading

嗯了解りょうかい，那な用ようffmpeg把わ视频的てきfps转换到多少たしょう合あい适呢？
我わが下した午うま试了下か将はたiPhone7录制的てき24帧转成なり30/60/120，结果差さ别还不ふ小しょう～
所以ゆえん，这块应该如何いか把握はあく呢？

差さ别是指ゆび什么差さ别？
一般いっぱん60够用。理り论上fps越高こしたか，误差越えつ小しょう，计算量りょう越えつ大だい。可か以根据すえ实际需要じゅよう调节。
至いたり于想知道ともみち这种方法ほうほう是ぜ否いや可か靠もたれ，其实最さい好こう是ぜ用よう这种办法跟你之の前まえ用よう其他方法ほうほう的てき测量值去对比。

@CiaraCai
Copy link

我わが尝试过后和わ提ひさげ问者遇ぐう到いた的てき情じょう况类似に：使用しよう例れい子こ里さと面めん的てきlong.mp4，并直接ちょくせつ使用しようstagespex自己じこ生成せいせい的てき第だい一いち、第だい二に阶段约40张视频图片へん进行机つくえ器き训练，发现最さい后きさき分ぶん类出的てき结果和わ实际还是有ゆう比ひ较大的てき差さ距，有ゆう很多不ふ属ぞく于该阶段的てき帧被分ぶん进去了りょう。看み到いた回答かいとう说要越こし多た越こし好よしみ，想そう问一下か实际落地おろち的てき时候每ごと阶段要よう约多少しょう图片数すう才さい可か以基本保ほんぼ证准确分类呢？

@williamfzc
Copy link
Owner

我わが尝试过后和わ提ひさげ问者遇ぐう到いた的てき情じょう况类似に：使用しよう例れい子こ里さと面めん的てきlong.mp4，并直接ちょくせつ使用しようstagespex自己じこ生成せいせい的てき第だい一いち、第だい二に阶段约40张视频图片へん进行机つくえ器き训练，发现最さい后きさき分ぶん类出的てき结果和わ实际还是有ゆう比ひ较大的てき差さ距，有ゆう很多不ふ属ぞく于该阶段的てき帧被分ぶん进去了りょう。看み到いた回答かいとう说要越こし多た越こし好よしみ，想そう问一下か实际落地おろち的てき时候每ごと阶段要よう约多少しょう图片数すう才さい可か以基本保ほんぼ证准确分类呢？

附ふ一下结果跟训练集（截图也可）？

@CiaraCai
Copy link

CiaraCai commented Mar 13, 2020 via email

@williamfzc
Copy link
Owner

williamfzc commented Mar 13, 2020 •
edited
Loading

Hi, 我わが这边是ぜ直接ちょくせつ使用しよう示しめせ例れい视频生成せいせい出で0-5共きょう计6个阶段だん（附つけ件けん中ちゅう“原はら结果”），然しか后きさき选择其中的てき1、2两个阶段的てき组图作さく为训练集进行训练（附つけ件けん中ちゅうzip文ぶん件けん），并根据すえ该训练集跑出结果（附つけ件けん中ちゅう“训练后きさき结果”）。 原はら结果中ちゅう的てきstage1、stage2帧数为，stage1：frame_id 59 -frame_id 62；stage2：frame_id 95 -frame_id 226。 训练后きさき结果中ちゅう的てきstage1是ぜ从frame_id 1开始到いたframe_id 229的てき不ふ连续帧，stage2的てき情じょう况也是ぜ类似，还是有ゆう一定いってい偏差へんさ的てき。 这边想そう问一下大概要多少图片集进行训练才可以达到基本准确呢？谢谢。 原始げんし邮件 发件人じん: williamfzcnotifications@github.com 收おさむ件けん人じん: williamfzc/stagesepxstagesepx@noreply.github.com 抄しょう送おく: CiaraCai574944901@qq.com; Commentcomment@noreply.github.com 发送时间: 2020年ねん3月がつ13日にち(周しゅう五ご) 00:07 主しゅ题: Re: [williamfzc/stagesepx] 为什么分拣出来でき的てき结果会かい包含ほうがん其他阶段 (#100) 我わが尝试过后和わ提ひさげ问者遇ぐう到いた的てき情じょう况类似に：使用しよう例れい子こ里さと面めん的てきlong.mp4，并直接ちょくせつ使用しようstagespex自己じこ生成せいせい的てき第だい一いち、第だい二に阶段约40张视频图片へん进行机つくえ器き训练，发现最さい后きさき分ぶん类出的てき结果和わ实际还是有ゆう比ひ较大的てき差さ距，有ゆう很多不ふ属ぞく于该阶段的てき帧被分ぶん进去了りょう。看み到いた回答かいとう说要越こし多た越こし好よしみ，想そう问一下か实际落地おろち的てき时候每ごと阶段要よう约多少しょう图片数すう才さい可か以基本保ほんぼ证准确分类呢？ 附ふ一下结果跟训练集（截图也可）？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

你的附ふ件けん被ひgithub拦截了りょう。直接ちょくせつ发我邮箱 （fengzc@vip.qq.com） 或ある者もの在ざい网页端はし上じょう传才行ぎょう。

@CiaraCai
Copy link

CiaraCai commented Mar 13, 2020 via email

@williamfzc
Copy link
Owner

好こう的てき，我わが这边发到你的QQ邮箱了りょう 原始げんし邮件 发件人じん: williamfzcnotifications@github.com 收おさむ件けん人じん: williamfzc/stagesepxstagesepx@noreply.github.com 抄しょう送おく: Ciara574944901@qq.com; Commentcomment@noreply.github.com 发送时间: 2020年ねん3月がつ13日にち(周しゅう五ご) 10:04 主しゅ题: Re: [williamfzc/stagesepx] 为什么分拣出来でき的てき结果会かい包含ほうがん其他阶段 (#100) Hi, 我わが这边是ぜ直接ちょくせつ使用しよう示しめせ例れい视频生成せいせい出で0-5共きょう计6个阶段だん（附つけ件けん中ちゅう“原はら结果”），然しか后きさき选择其中的てき1、2两个阶段的てき组图作さく为训练集进行训练（附つけ件けん中ちゅうzip文ぶん件けん），并根据すえ该训练集跑出结果（附つけ件けん中ちゅう“训练后きさき结果”）。 原はら结果中ちゅう的てきstage1、stage2帧数为，stage1：frame_id 59 -frame_id 62；stage2：frame_id 95 -frame_id 226。 训练后きさき结果中ちゅう的てきstage1是ぜ从frame_id 1开始到いたframe_id 229的てき不ふ连续帧，stage2的てき情じょう况也是ぜ类似，还是有ゆう一定いってい偏差へんさ的てき。 这边想そう问一下大概要多少图片集进行训练才可以达到基本准确呢？谢谢。 原始げんし邮件 发件人じん: williamfzcnotifications@github.com 收おさむ件けん人じん: williamfzc/stagesepxstagesepx@noreply.github.com 抄しょう送おく: CiaraCai574944901@qq.com; Commentcomment@noreply.github.com 发送时间: 2020年ねん3月がつ13日にち(周しゅう五ご) 00:07 主しゅ题: Re: [williamfzc/stagesepx] 为什么分拣出来でき的てき结果会かい包含ほうがん其他阶段 (#100) 我わが尝试过后和わ提ひさげ问者遇ぐう到いた的てき情じょう况类似に：使用しよう例れい子こ里さと面めん的てきlong.mp4，并直接ちょくせつ使用しようstagespex自己じこ生成せいせい的てき第だい一いち、第だい二に阶段约40张视频图片へん进行机つくえ器き训练，发现最さい后きさき分ぶん类出的てき结果和わ实际还是有ゆう比ひ较大的てき差さ距，有ゆう很多不ふ属ぞく于该阶段的てき帧被分ぶん进去了りょう。看み到いた回答かいとう说要越こし多た越こし好よしみ，想そう问一下か实际落地おろち的てき时候每ごと阶段要よう约多少しょう图片数すう才さい可か以基本保ほんぼ证准确分类呢？ 附ふ一下结果跟训练集（截图也可）？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. 你的附ふ件けん被ひgitlab拦截了りょう。直接ちょくせつ发我邮箱 （fengzc@vip.qq.com） 或ある者もの在ざい网页端はし上じょう传才行ぎょう。 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

不ふ太ふと明白めいはく你的需求是ぜ什么，这样看み运作其实没ぼつ什么问题。
模型もけい只ただ会かい将はた图片分ぶん类到它最符合ふごう的てき类别，即そく使つかい两个都と不ふ像ぞう，它也会かい归类为它认为最さい接近せっきん的てき那な一いち类。

@CiaraCai
Copy link

CiaraCai commented Mar 15, 2020 via email

@williamfzc
Copy link
Owner

因いん为自动化的てき目め标就是ぜ尽つき可能かのう的てき归到正せい确的一いち类，但ただし是ぜ我わが这边实验下か来らい无法由よし此来计算冷ひや启动时间并落地ち到いた项目中ちゅう，因いん为偏差さ实在是ぜ太ふと大だい了りょう。我わが想そう问一下你们有使用机器学习落地的经验吗？需要じゅよう多少たしょう图片或ある者もの如何いか训练才能さいのう保ほ证基本上ほんかん模型もけい选择的てき是ぜ精せい准じゅん的てき呢？

  • 归到正せい确的一类没问题呀，但ただし是ぜ你希望きぼう将しょう一个复杂的视频强行压成两个类别这不太现实，效果こうか肯定こうてい会かい很差的てき。你们的てき实验是ぜ怎么样进行ぎょう的てき？
  • 落地おろち的てき话我们已经在实验室しつ中ちゅう确认过它的てき效果こうか，误差与あずか高速こうそく相しょう机つくえ方案ほうあん差さ距很小しょう，并在多た个业务落地ち运行中ちゅう；
  • 这套方案ほうあん可能かのう产生误差的てき地方ちほう其实在ざい录制方案ほうあん上じょう，属ぞく于软件けん录制与あずか硬かた件けん录制的てき误差。而对于阶段だん分ぶん得え不ふ对，这种都と是ぜ有ゆう办法可か以解决的；
  • 可か以QQ联系我わが沟通，方式ほうしき在ざい README 末尾まつび

@CiaraCai
Copy link

CiaraCai commented Mar 16, 2020 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@williamfzc @CiaraCai @ssfanli