A cautionary note on the reliability of the online survey data – the case of Wage Indicator

We investigate the reliability of data from the Wage Indicator (WI), the largest online survey on earnings and working conditions. Comparing WI to nationally representative data sources for 17 countries reveals that participants of WI are not likely to have been representatively drawn from the respective populations. Previous literature has proposed to utilize weights based on inverse propensity scores, but this procedure was shown to leave reweighted WI samples different from the benchmark nationally representative data. We propose a novel procedure, building on covariate balancing propensity score, which achieves complete reweighting of the WI data, making it able to replicate the structure of nationally representative samples on observable characteristics. While rebalancing assures the match between WI and representative benchmark data sources, we show that the wage schedules remain different for a large group of countries. Using the example of a Mincerian wage regression, we find that in more than a third of the cases, our proposed novel reweighting assures that estimates obtained on WI data are not biased relative to nationally representative data. However, in the remaining 60% of the analyzed 95 datasets systematic differences in the estimated coefficients of the Mincerian wage regression between WI and nationally representative data persists even after reweighting. We provide some intuition about the reasons behind these biases. Notably, objective factors such as access to the Internet or richness appear to matter, but self-selection (on unobservable characteristics) among WI participants appears to constitute an important source of bias.

We provide weights and full documentation here.

Unpublished version

Published version

2021

Wybór zawodu: rola rodziców

Active
No Active

„Kim jesteś?” – na tak postawione pytanie, większość z nas wymieniłaby w pierwszym odruchu swój… zawód. „Jestem prawnikiem”, „jestem lekarzem”, „jestem astronautą” – niewiele jest w naszym życiu wyborów, które w tak kompleksowy sposób determinują to kim jesteśmy lub kim się czujemy. Wybór zawodu jest więc pod wieloma względami wyjątkowy. Chyba każdy przyzna, że decyzja podjęta często jeszcze w szkole średniej niezaprzeczalnie stanowi punkt zwrotny w życiu praktycznie każdego z nas.

Co sprawia, że wybieramy ten, a nie inny zawód? Że chcemy być tancerzem, a nie naukowcem? Lekarzem, a nie strażakiem? Czynników bez wątpienia jest wiele. W teorii ekonomii zakłada się, że decyzję o wyborze zawodu podejmujemy właściwie na podstawie dwóch informacji – o koszcie wykształcenia oraz przyszłych zarobkach. Gdybyśmy wszyscy byli tacy sami to podążając tym tokiem rozumowania wszyscy wykonywalibyśmy tę samą pracę. Ale nie jesteśmy – różnimy się od siebie zdolnością do nauki różnych przedmiotów i nabywania określonych umiejętności. Wreszcie, jesteśmy mniej lub bardziej produktywni w zadaniach, które otrzymujemy.

I choć model teoretyczny pokazuje nam drogę, dzięki której zarówno indywidualnie osiągalibyśmy największe zyski, jak i cała gospodarka zarabiałaby najszybciej – idealne przypisanie osób do zawodów w praktyce się nie zdarza. Nie każdy kto ma zdolności do wykonywania bardzo skomplikowanej pracy ma środki, aby się wykształcić. Niektórzy pracownicy są (czasem już na poziomie edukacji) dyskryminowani ze względu na cechy, które nie wpływają na ich produktywność, np. kolor skóry czy płeć. Czynniki zewnętrzne wspomniane powyżej są również przedmiotem zainteresowania badań ekonomicznych.

Z punktu widzenia proponowanego projektu interesujący jest jednak inny czynnik, czynnik wewnętrzny, o którym nie możemy zapominać w kontekście wyboru przyszłego zawodu – nasze preferencje. W badaniach naukowych dotyczących wyboru przyszłego zawodu w dziedzinie ekonomii, preferencje były do tej pory traktowane jak „czarna skrzynka”. Ale preferencje nie są przecież cechą, z którą się rodzimy. Są kształtowane w procesie dorastania. A na ich ostateczny kształt bez wątpienia istotny wpływ mają rodzice.

Project / Project

Źródło finansowania | Financing Narodowe Centrum Nauki, PRELUDIUM 11

Budżet łączny | Total budget: 131 398 zł

  • wynagrodzenia dla podstawowych wykonawców | compensation to researchers: 36 000zł
  • komputery i oprogramowanie | hardware and software: 9 500 zł
  • konferencje, materiały, organizacja eksperymentu | conference travels, materials, experiment: 65 582 zł
  • koszty pośrednie dla Wydziału Nauk Ekonomicznych | overheads for Faculty of Economics: 10 158 zł
  • koszty pośrednie dla Uniwersytetu Warszawskiego | overheads for University of Warsaw: 10 158 zł
User (reference)

Wybór zawodu jest więc pod wieloma względami wyjątkowy. Co sprawia, że wybieramy ten, a nie inny zawód? 

-
PARENTS
Group (reference)

Celem prezentowanego projektu jest sprawdzić i opisać, w jakim stopniu przykład oraz przekonania rodziców mogą mieć wpływ na kształtowanie się preferencji, a w konsekwencji wybory młodych ludzi na rynku pracy. Obserwując rodziców, słuchając ich rad i opinii, dzieci budują obraz świata, w którym chcą żyć. Jeśli rodzice są dla nich wzorem częściej decydują się podążać ich śladem lub korzystać z ich rad. Dlaczego ten mechanizm może być ważny?

Rozważania dotyczące wpływu rodziców na decyzje zawodowe dzieci wydają się szczególnie istotne z punktu widzenia tzw. „samoselekcji” do zawodów. Kiedy spojrzymy na rynek pracy i to kto trafia do jakiego zawodu, możemy z łatwością wyodrębnić zawody zdominowane przez mężczyzn i te zdominowane przez kobiety. Pojawia się więc pytanie: czy taki rozkład wynika z preferencji czy może wpływ mają inne czynniki? Rynek pracy się zmienia – zarówno kobiety, jak i mężczyźni coraz częściej wybierają zawody tradycyjnie zarezerwowane dla przedstawicieli innej płci. To sugerowałoby, że różnice w preferencjach nie wynikają z tzw. „biologii”. Jednocześnie luka w partycypacji, w niektórych zawodach nadal pozostaje. Co więcej, kobiety częściej wybierają gorzej płatne zawody, co skutkuje luką płacową między kobietami a mężczyznami. Z tej perspektywy zbadanie mechanizmu kształtowania się preferencji zawodowych wydaje się nie tylko ciekawe, ale również ważne dla prawidłowego rozwoju.

Project list position
2

Task content of jobs and inequality

Active
Is Active

In this research project, we focus on how new technologies affected wage inequality within-occupations. By doing so, we  contribute to the literature on skill-biased technological change in two ways: first, we incorporate a dynamic dimension to the analysis by including measures on the scope and pace of changes in task content. Second, we shift our interest from differences across occupations to inequality within occupations.

Both changes are relevant from a policy perspective. Analyzing dynamics help us to understand how occupations evovle, and how workers cope with those changes. Focusing on inequality within occupations, we can understand better who were the winners and losers from the adoption of new technologies, and possibly consider what policy instruments could ameliorate the negative consequences of technological progress.

We test two hypothesis:

Changes in the task composition towards more complex tasks were followed by increases in relative wages.

Occupations that experienced larger changes in their tasks contents present higher wage inequalities.

Project / Project

Źródło finansowania | financingNarodowe Centrum Nauki, PRELUDIUM 11

Projekt realizowany | Timeline: 06/2017 – 06/2020

Budżet łączny | Total budget: 96 454 zł

  • wynagrodzenia dla podstawowych wykonawców | compensation to researchers: 24 000 zł
  • komputery i oprogramowanie | hardware and software: 15 850 zł
  • konferencje i inne wyjazdy | conferences: 16 500 zł
  • Dane |  Data: 12 270 zł
  • książki | books: 3 000 zł
  • materiały | consumables: 2 400 zł
  • koszty pośrednie dla Wydziału Nauk Ekonomicznych | overheads for the Faculty of Economics: 6 717 zł
  • koszty pośrednie dla Uniwersytetu Warszawskiego | overheads for the University of Warsaw: 6 717 zł
User (reference)

We analyze inequality within jobs, and its relation to technological change. New technologies are constantly transforming the production process. They create opportunities to perform new jobs and tasks, while simultaneously rendering other tasks obsolete. We look into details of these processes.

-
TASKS
Group (reference)

Objectives | Cel badania

In English We analyze the consequences of changes in the task content of jobs on wages \emph{within} occupations. In this project, we formulate two hypotheses: (1) occupations where the share of more complex (defined as nonroutine cognitive) tasks increased, experienced a larger increase in wages; (2) within occupation wage inequalities are larger in those occupations that experienced more changes in the task content.

Po polsku Zbadamy i przeanalizujemy jak zmiany w zakresie zadań wykonywanych przez pracowników oddziałują na płace wewnątrz grup zawodowych. Sformułowane zostały dwie hipotezy: (1) zawody, w których liczba skomplikowanych (zdefiniowanych jako nierutynowe poznawcze) zadań wzrosła, doświadczają większych zmian w płacach; (2) wewnątrz grup zawodowych nierówności płacowe są większe w tych zawodach, w których w większym stopniu zmienił się zakres zadań.


Method | Metodyka

In English We work with microeconomic data sources that allow to recover workers' occupations and earnings. Additionally, we will employ the DOT and O*NET databases, to recover the task content of occupations. Using these databases, we perform the following tasks.

  • Provide a descriptive analysis of changes in the demand for skills in the context of transition and developed countries
  • Identify the occupations that changed the most over the period and the direction of these changes. We will extend the existing analysis by developing a synthetic measure of the size and scope of these changes.
  • Correlate the changes in the task composition of occupations to changes in relative wages.

Po polsku Projekt ma charakter empiryczny. Wykorzystane zostaną dane mikroekonomiczne w calu pozyskania informacji o zawodach i płacach. Dodatkowo, korzystać będziemy z baz DOT and O*NET, które zawierają informacje o zadaniach wykonywanych w ramach zawodów. Na podstawie baz danych:

  • przygotowana zostanie analiza deskryptywna zmian w popycie na umiejętności w krajach transformacyjnych oraz rozwiniętych.
  • zidentyfikowane zostaną zawody, w których zmiany w zakresie zadań były największe oraz kierunki tych zmian.
  • połączone zostaną zmiany w zakresie zadań w zawodzie ze zmianami w relatywnych płacach.

Intended contribution | Planowane efekty

In English  Our project builds on the existing literature in two dimenstions. First, we focus on the dynamic aspect of technological change. The development of an index of change is an important part of this task and a valuable sub-product of our research that can be used to explore connected topics. Second, our analysis will focus on wage inequality within occupation, a phenomenon that was mostly disregarded in the existing literature.

Understanding more on the sources of wage inequality (worker or firm heterogeneity) could inform on where the main bottlenecks are and how they can be addressed. Moreover, it can inform on which workers experienced/will experience more distress, and inform on how to target them better.

Po polsku Nasz projekt przyczyni się do rozwoju literatury w dwóch aspektach. Po pierwsze, wypełniona zostanie luka dotycząca dynamicznego aspektu zmian technologicznych do tej pory pomijanego w badaniach. Stworzony zostanie wskaźnik zmian, który będzie mógł być wykorzystywany przez badaczy do dalszych prac nad poruszanym tematem. Po drugie, nasza analiza koncentruje się na nierównościach dochodowych wewnątrz grup zawodowych - kolejny temat dotychczas niepojawiający się szerzej w literaturze.

Większe zrozumienie źródeł nierówności dochodowych może pomóc wskazać, gdzie znajdują się największe problemy i jak z nimi walczyć. Co więcej, również pracownicy i pracodawcy bardziej świadomi z czego wynika ich pozycja na rynku i w rozkładzie płac, mogą wykorzystać tę wiedzę na swoją korzyść.

Project list position
1
Results
Title
Changing task content of jobs
Body

One central issue of the task content literature is how workers decide which tasks they perform at their workplace. The main vision is that workers specialize in the tasks where they have a comparative advantage. Workers who are more productive in non-routine interpersonal tasks would spend more time in doing those tasks than other workers.

This approach assumes that there is an agent that combines these tasks in a way that maximizes output. What would happen if instead one assumes that the process is decentralized and occupations require a task profile? In that case, workers might choose to either provide tasks themselves or specialize, with the catch that specialization requires finding an adequate partner and leads to coordination costs. Workers need to balance the efficiency gains from specialization against these costs. 

In the slides below, I present a toy model and initial empirical findings based on PIAAC and Eurostat data. 

 

 

@article{smyk2018cautionary,
title={A Cautionary Note on the Reliability of the Online Survey Data: The Case of Wage Indicator},
author={Smyk, Magdalena and Tyrowicz, Joanna and Van der Velde, Lucas},
journal={Sociological Methods \& Research},
year={2021},
volume={50},
number = {1},
pages={429--464},
}

Published