Réduit le spectre du graphe Q/contributeur

src/apps/democratie.py

@@ -16,6 +16,7 @@ FIG_PATH = '../figures/'
 pers_dep = pd.read_csv(INTERIM_PATH + shortname + '_personnes_par_departement.csv', index_col=0)
 part_q = pd.read_csv(INTERIM_PATH + shortname + '_participation_question.csv', index_col=0).T
 analyse = 'Analyse des expressions les plus utilisées'
+extrema = pd.read_csv(INTERIM_PATH + 'participation_gens_extrema.csv', index_col=0).loc[shortname]
 
 # Data
 data = pd.read_csv(DATA_PATH, low_memory=False, nrows=1)
@@ -54,14 +55,16 @@ layout = html.Div([
     html.H4('Taux de réponse par contributeur'),
     dcc.Graph(
         id='rep_contrib',
-        figure=figure_rep_contributeurs(shortname + '_participation_gens')
+        figure=figure_rep_contributeurs(shortname + '_participation_gens_bar')
     ),
     html.Div('''
     Le questionnaire comprend 37 questions. Certains contributeurs ont pu répondre à plus de 37 questions
     car il est possible de répondre plusieurs fois au questionnaires.
-    On remarque aussi qu'un certain nombre de contributeurs ont soumis des questionnaires vides.
+    Nous n'affichons que jusque 74 questions répondues mais le maximum est %d réponses pour un contributeur ayant soumis %d questionnaires.
+    %d contributeurs ont soumis 3 questionnaires ou plus.
+    On remarque aussi que %d contributeurs ont soumis des questionnaires vides.
     Ils ont toute fois renseigné un titre pour leur contribution car celui-ci est obligatoire pour soumettre.
-    '''),
+    ''' % (extrema['maxiQ'], extrema['maxiF'], extrema['>3'], extrema['0'])),
     #'Q107 - En qui faites-vous le plus confiance pour vous faire représenter dans la société et pourquoi ?',
     html.H4(children=cols_d['Q107']),
     html.Div("Taux de participation à la question : %0.1f%%" % part_q['Q107 - ' + cols_d['Q107']]),

src/apps/fiscalite.py

@@ -14,6 +14,8 @@ INTERIM_PATH = '../data/interim/'
 FIG_PATH = '../figures/'
 pers_dep = pd.read_csv(INTERIM_PATH + shortname + '_personnes_par_departement.csv', index_col=0)
 part_q = pd.read_csv(INTERIM_PATH + shortname + '_participation_question.csv', index_col=0).T
+extrema = pd.read_csv(INTERIM_PATH + 'participation_gens_extrema.csv', index_col=0).loc[shortname]
+
 
 # Data
 data = pd.read_csv(DATA_PATH, low_memory=False, nrows=1)
@@ -54,14 +56,16 @@ layout = html.Div([
     html.H4('Taux de réponse par contributeur'),
     dcc.Graph(
         id='rep_contrib',
-        figure=figure_rep_contributeurs(shortname + '_participation_gens')
+        figure=figure_rep_contributeurs(shortname + '_participation_gens_bar')
     ),
     html.Div('''
     Le questionnaire comprend 8 questions. Certains contributeurs ont pu répondre à plus de 8 questions
     car il est possible de répondre plusieurs fois au questionnaires.
-    On remarque aussi qu'un certain nombre de contributeurs ont soumis des questionnaires vides.
+    Nous n'affichons que jusque 16 questions répondues mais le maximum est %d réponses pour un contributeur ayant soumis %d questionnaires.
+    %d contributeurs ont soumis 3 questionnaires ou plus.
+    On remarque aussi que %d contributeurs ont soumis des questionnaires vides.
     Ils ont toute fois renseigné un titre pour leur contribution car celui-ci est obligatoire pour soumettre.
-    '''),
+    ''' % (extrema['maxiQ'], extrema['maxiF'], extrema['>3'], extrema['0'])),
     #   'Q162 - Quelles sont toutes les choses qui pourraient être faites pour améliorer l'information des citoyens sur l'utilisation des impôts ?',
     html.H4(children=cols_d['Q162']),
     html.Div("Taux de participation à la question : %0.1f%%" % part_q['Q162 - ' + cols_d['Q162']]),

src/apps/organisation.py

@@ -15,6 +15,7 @@ INTERIM_PATH = '../data/interim/'
 FIG_PATH = '../figures/'
 pers_dep = pd.read_csv(INTERIM_PATH + shortname + '_personnes_par_departement.csv', index_col=0)
 part_q = pd.read_csv(INTERIM_PATH + shortname + '_participation_question.csv', index_col=0).T
+extrema = pd.read_csv(INTERIM_PATH + 'participation_gens_extrema.csv', index_col=0).loc[shortname]
 
 # Data
 data = pd.read_csv(DATA_PATH, low_memory=False, nrows=1)
@@ -59,14 +60,16 @@ layout = html.Div([
     html.H4('Taux de réponse par contributeur'),
     dcc.Graph(
         id='rep_contrib',
-        figure=figure_rep_contributeurs(shortname + '_participation_gens')
+        figure=figure_rep_contributeurs(shortname + '_participation_gens_bar')
     ),
     html.Div('''
     Le questionnaire comprend 32 questions. Certains contributeurs ont pu répondre à plus de 32 questions
     car il est possible de répondre plusieurs fois au questionnaires.
-    On remarque aussi qu'un certain nombre de contributeurs ont soumis des questionnaires vides.
+    Nous n'affichons que jusque 74 questions répondues mais le maximum est %d réponses pour un contributeur ayant soumis %d questionnaires.
+    %d contributeurs ont soumis 3 questionnaires ou plus.
+    On remarque aussi que %d contributeurs ont soumis des questionnaires vides.
     Ils ont toute fois renseigné un titre pour leur contribution car celui-ci est obligatoire pour soumettre.
-    '''),
+    ''' % (extrema['maxiQ'], extrema['maxiF'], extrema['>3'], extrema['0'])),
     #'Q169 - Que pensez-vous de l'organisation de l'Etat et des administrations en France ? De quelle manière cette organisation devrait-elle évoluer ?',
     html.H4(children=cols_d['Q169']),
     html.Div("Taux de participation à la question : %0.1f%%" % part_q['Q169 - ' + cols_d['Q169']]),

src/apps/transition.py

@@ -15,6 +15,7 @@ FIG_PATH = '../figures/'
 DATA_PATH = INTERIM_PATH + 'LA_TRANSITION_ECOLOGIQUE.csv'
 pers_dep = pd.read_csv(INTERIM_PATH + shortname + '_personnes_par_departement.csv', index_col=0)
 part_q = pd.read_csv(INTERIM_PATH + shortname + '_participation_question.csv', index_col=0).T
+extrema = pd.read_csv(INTERIM_PATH + 'participation_gens_extrema.csv', index_col=0).loc[shortname]
 analyse = 'Analyse des expressions les plus utilisées'
 
 # Data
@@ -60,14 +61,16 @@ layout = html.Div([
     html.H4('Taux de réponse par contributeur'),
     dcc.Graph(
         id='rep_contrib',
-        figure=figure_rep_contributeurs(shortname + '_participation_gens')
+        figure=figure_rep_contributeurs(shortname + '_participation_gens_bar')
     ),
     html.Div('''
     Le questionnaire comprend 16 questions. Certains contributeurs ont pu répondre à plus de 16 questions
     car il est possible de répondre plusieurs fois au questionnaires.
-    On remarque aussi qu'un certain nombre de contributeurs ont soumis des questionnaires vides.
+    Nous n'affichons que jusque 32 questions répondues mais le maximum est %d réponses pour un contributeur ayant soumis %d questionnaires.
+    %d contributeurs ont soumis 3 questionnaires ou plus.
+    On remarque aussi que %d contributeurs ont soumis des questionnaires vides.
     Ils ont toute fois renseigné un titre pour leur contribution car celui-ci est obligatoire pour soumettre.
-    '''),
+    ''' % (extrema['maxiQ'], extrema['maxiF'], extrema['>3'], extrema['0'])),
     #'Q160 - Quel est aujourd'hui pour vous le problème concret le plus important dans le domaine de l'environnement ?',
     html.H4(children=cols_d['Q160']),
     dcc.Graph(

src/preprocessing.py

@@ -109,13 +109,23 @@ def contribution_map():
 
 def participation():
     print('Participation')
+    nq = {'democratie': 37, 'transition': 16, 'fiscalite': 8, 'organisation': 32}
+    extrema = pd.DataFrame([], index=shortnames, columns=['0', '>3', 'maxiQ', 'maxiF'])
     for f, shortname in zip(files, shortnames):
         data = pd.read_csv('../data/interim/%s.csv' % f, low_memory=False)
         N = len(data)
-        tmp = data.groupby('authorId').count().iloc[:, 10:-1].sum(axis=1).reset_index().groupby(0).count()
+        tmp0 = data.groupby('authorId').count()
+        tmp = tmp0.iloc[:, 10:-1].sum(axis=1).reset_index().groupby(0).count()
         tmp.to_csv('../data/interim/%s_participation_gens.csv' % shortname, header=True)
-        tmp1 = data.groupby('authorId').count().sum()/N*100
-        tmp1.to_csv('../data/interim/%s_participation_question.csv' % shortname, header=True)
+        (tmp.loc[tmp.index <= 2 * nq[shortname]]
+         .to_csv('../data/interim/%s_participation_gens_bar.csv'
+                 % shortname, header=True))
+        tmp1 = tmp0.groupby('id').count()['reference']
+        plus3 = tmp1.loc[tmp1.index > 2].sum()
+        extrema.loc[shortname] = [tmp.loc[0]['authorId'], plus3, tmp.index.max(), tmp1.index.max()]
+        tmp2 = tmp0.sum()/N*100
+        tmp2.to_csv('../data/interim/%s_participation_question.csv' % shortname, header=True)
+    extrema.to_csv('../data/interim/participation_gens_extrema.csv')
 
 def questionnaire_par_contributeur():
     print('Questionnaires par contributeur')