作品に「満足度」という指標を設けました
今まで作品に対してはステータスを「見てる」または「見たい」にしている人の数 (= 視聴者数) くらいしか表示してきませんでしたが、今回から「満足度」という数字を表示し始めました。
満足度は各エピソードへの記録の中から「良い」や「とても良い」といったレーティングを取得し、計算しています。計算の仕方により、取得したレーティングの数が多いものほど満足度が高くなるようになっています。例えば3人のうち2人が「良い / とても良い」と評価した作品より、10人のうち4人が「良い / とても良い」と評価した作品のほうが満足度が高くなります。「良い / とても良い (= 満足した人)」の割合は前者のほうが多いですが、後者のほうが実際に満足した人の数が多いため、後者のほうが満足度が高いだろう、と判断しています。
この計算方法により、Annict内では最近の作品のほうが満足度が高めの傾向になっています。(以前は記録する利用者さんが少なかったので…)
2017年12月17日現在の満足度ランキングトップ10は以下になります。
- メイドインアビス: 10.0
- 宝石の国: 9.79
- NEW GAME!!: 9.49
- プリンセス・プリンシパル: 9.44
- ネト充のススメ: 9.21
- 少女終末旅行: 9.16
- ゲーマーズ！: 9.09
- ナイツ＆マジック: 9.08
- エロマンガ先生: 9.0
- 賭ケグルイ: 8.98
※ 満足度の最大値は10になっています
ご覧の通りトップ10は今期や前期の作品ばかりになっています。ただ、過去作品のほうが数値が多くなる傾向にある視聴者数も計算に含めているので、11位以下にはちらほらと過去の名作の名が出てきています。「過去の名作は何度も見返すもの = 記録するもの」だと思っているので、長期的に見ると悪くない計算方法なのかなと思っています。
満足度の計算は1日1回行われます。また、映画などのエピソードが存在しない作品に関しては、現在満足度の計算を行っていません。近いうちにレビュー機能周りに手を加えるので、そのタイミングで計算するようにしたいと思っています。
満足度の数値は現在作品詳細ページ以外には表示していないのですが、今後追加予定の「見つける」ページで活用していきます。「見つける」ページは、作品や人物などを色々な項目で検索したり並び替えしたりできるページになります (たぶん)。
作品を探すときの指標が一つ増えたAnnictをよろしくお願いします。
2017/12/30: リリース当初は満足度のポイントが一番大きい値を10として、2番目以降を一番大きい値との割合で数値を算出していましたが、それだと相対的な評価になり微妙かなと思ったため、もともと出していた満足度のポイントをそのまま表示することにしました。大体値は10のままです。結果として値がかなり減った感じになってしまいましたが、途中までの計算方法は変わっていないため、順位も変わっていません。
2018/01/08: 値がかなり減ってしまったのが気になっていたので、計算方法を少し変更しました。詳細は下のコメントにて。
挙げられている10作品、二週間ほどで満足度が軒並み5-6台に下がっていますが、これはレーティング算出方法や取得方式や計算式を変えたのですか？
はい、リリース後に計算方法を少し変えてました。本文のほうに追記しました。
一番大きな値でも6.82という感じで全体的に小さめな値になっているのはどうにかしたいなあという気持ちがあります。全ての人が「とても良い」のときに最大値である10になるように計算しているので、現状なかなかシビアになっています。
そもそも論で恐縮なんですが、"取得したレーティングの数が多いものほど満足度が高くなるようにな"る方法で満足度を算出しているレビューサイトの存在を他に知らないので、なかなかうまくいかないのではないかなと思いました。
海外サイトのmyanimelistですと単に平均でスコアを出しているはずなのでそれで良いのではないかと思ったのですが、それだとダメなのでしょうか。
少ないレビュー数で満足度ランキングに載ってしまう懸念についてはランキングに載るのに必要な最低限のレビュー数の閾値を設定してしまえば良いと思います。
https://myanimelist.net/info.php?go=topanime
こちらを見ると投票者数も考慮しているみたいです。食べログも評価数を加味しているみたいなんですよね。
https://tabelog.com/help/score/
単に平均で求めると、評価数が少なければ少ないほどスコアが高くなりがちなので好ましくないです。
最低限のレビュー数の閾値を設定しても、閾値に近ければ近いほどスコアが高くなりがちになるだけで、根本的には解決していないかなと思います。
ただ上にも書いていますが、スコアが小さすぎる問題は何とかしたいなと思っていたので、先ほど計算方法を少し変えました。
今までは評価をそれぞれ、
- 良くない: 0
- 普通: 1
- 良い: 2
- とても良い: 3
という数値に変換していたのですが、今回から、
- 良くない: 0
- 普通: 1
- 良い: 2
- とても良い: 「良い」2つ分
としました。「とても良い」の場合は2つの2点として計算するようにしました。
今までは全ての評価が「とても良い」だと10点になるようになっていたのでスコアがシビアになっていたのですが、「良い」2つ分として計算するようにした結果だいぶマイルド？なスコアになったかと思います。
作品評価機能は嬉しいですね。
映像 とても良い
音楽 とても良い
ストーリー とても良い
キャラクター とても良い
全体 とても良い
https://jp.annict.com/works/5336
５つ項目が分かれているのも良いと思います
４つの項目で評価できない内容 たとえば 演出 とかを全体の中に入れて自分で評価するんですね
上４つの平均値が 全体 かなあと思っていました
作画がーSEがー声優がー脚本がー製作委員会の予算がーなどコアなユーザは、評価選択したうえで、レビュー欄に自由に書き込めばよいということですね
ページを見ても、評価欄がなかったので、レビューを書くをクリックすると選択できるのかなあと思いました
しかもUI刷新でうまいのは、レビューを書く人だけこの評価ができるので、過疎だったレビュー欄を活気づけられることです
レビューせずに評価しまくりたいだけで あああああああああ みたいな文字列を書き込むユーザが居る場合はどうしましょうか
書き込みテストをしていると、こうなっていました
全体 とても良い
映像 とても良い
音楽 とても良い
ストーリー とても良い
キャラクター とても良い
https://jp.annict.com/works/5336
全体 の項目が一番上にありますが 書き込むと一番下にいきます
統一したほうが良いと思います
それと、先におおまかな評価５つをしてから自由なコメントを書き込む流れにしたほうが、レビューする人は見やすいんではないかなあと思いました
また何かあれば情報提供します
今テスト書き込みしてみたんですが
https://jp.annict.com/works/5336
1500/1500文字ぴったりで投稿すると
本文は1500文字以内で入力してください
1593 / 1500
と表示されて投稿できませんでした
全半角のバイト数カウントちがいでしょうか
何度も調整して1500文字（？）以内で投稿完了しました
もひとつ不具合発見しました
１アカウントで１作品につき
複数レビュー投稿可能になっています
ランキング工作できてしまいます
https://jp.annict.com/works/5336/reviews
フィードバックのほうで報告したほうが良かったかなあ
すみません
Koji Shimba様
評価アルゴリズムについてこちらの前提がそもそも間違っていたようでお手数をおかけしてしまいました(+_+)
糞アニメ愛好家が評価しにくいのではと思ったのですが
映像 良くない
音楽 良くない
ストーリー 良くない
キャラクター 良くない
全体 とても良い/良い
この条件を満たせば、「良い糞アニメ」の作品として別ランキング枠で取り上げてよいかもしれません
「全体」の存在が活かせると思います
いくつかフィードバックありがとうございます！参考にします。考えが変わったので、満足度の計算方法を変更しました。m(__)m