When you have a pretty decent idea about your research questions and models, it’s time to start thinking about how you want to design your research study.

Like finding the perfect outfit, it all depends on the occasion, the time of the day, etcA perfect cocktail dress is not your ideal outfit for working in a daycare center. A sparkly suit is perfect for the dance floor but awkward for work. Likewise, there’s no such a thing as a perfect design for all studies. It all depends on what you’re trying to accomplish. 

1

There are many definitions of research design. Research design is the blueprint for fulfilling research objectives and answering questions. Its essentials include 1) an activity and time‐based plan, 2) a plan based on the research questions, 3) a guide for selecting sources and types of information, 4) a framework for specifying the relationships among the study’s variables, and 5) a procedural outline for every research activity.

The key issue here is why and how are you going to conduct your research. 

We spent a lot of time clarifying the research questions and objectives. This is because the design of your research depends critically upon your questions and objectives. Ask a different research question, and you may have to change your design. Explanatory/predictive studies also require very different designs from reporting/descriptive studies

2

3

Assuming that your proposed research topic is approved by the instructor, the next step in the research process is to figure out a plan for collecting data, and a plan for obtaining the right sample. After we have a plan, we will create the materials, or instruments, that we need for data collection, and actually go out and collect the data. This process of collecting/analyzing empirical data and drawing conclusions based on the data is the hallmark of scientific research.

How will I conduct my study? I may decide to study the situation of a particular bright student of mine who dropped college in her second year to pursue a full job at the Bank of New York Mellon  (yes, real case). I could explain what she went through and how she decided to go for the job because of her financial struggles. I could write my findings and I would have what is called “A Case Study” On the other hand I could mail a survey to the home address of all students who dropped college asking “Name the main reason why you dropped college: a) economic problems b) unsatisfactory college experience c) family issues d) other (explain)” and I would be following a “Survey Strategy” and I could even think of an “experiment” I could ask the administration to raise tuition in 20% next year to see if the number of college dropouts at Carlow increases (I may prove my point but I would probably lose my job in the process ☺).

This slide is a list of different research designs. It shows the most popular designs but it’s by no means an exhaustive list

These designs differ along several dimensions which are summarized on the next slide

4

5

Your textbook discusses a few more descriptors. Here are the seven categories we focus on

6

The degree to which the research question has been crystallized or structured is the first descriptor of research design. There are two options. •Exploratory studies are used when the research question is still fluid or undetermined. The goal of exploration is to develop hypotheses or questions for future research. •Formal studies are used when the research question is fully developed and there are hypotheses to be examined. 

Your group project usually is a mixture of exploratory and formal research

While there are several types of exploratory techniques possible, the methodologies tend to be more qualitative (as opposed to quantitative in nature). On the other hand, formal studies tend to be more quantitative.

•Causal studies are differentiated by their ability to control and manipulate variables. •Causal studies may be experiments or ex post facto studies. 

•Experiments are studies involving the manipulation of one or more variables to determine the effect on another variable. For example, direct marketers can use split tests on mailings to test which mailing resulted in the highest response rate. •Ex post facto designs are evaluations made after‐the‐fact based on measured variables. 

For example, you can create different kinds of social media policies and see how people react to them differently. You as a researcher play an active role in influencing and changing how the participant responds. That would make it an experiment. Because you have full control of who gets to read which version of the social media policy, you are running a real experiment.

With quasi‐experiments, you expect different groups of people to react/behave differently, but you have no control who is in which group. For example, if you’d like to see the impact of smoking on worker productivity, ideally you’d like to run an experiment. You can make half of your participants smoke, and the other half not smoke, and see which group is more productive. Unfortunately this is not really considered an ethical thing to do and so you can’t really run this experiment, no matter how wonderful the design is.

Your best compromise is to have a quasi‐experiment. You let people decide which treatment group they want to be in – the smoker group or the non‐smoker group. Then you compare their productivity levels across groups. Same thing with gender differences. You can’t assign people to the female group or the male group. Your best compromise is to go with whatever gender they are instead of mandating a sex change operation!

With surveys, observations, document analysis, case studies, etc, the researchers observe and analyze the observations. They do not play an active role in influencing the study participants behaviors, reactions, or feelings. Caution: Surveys and case studies can be experimental depending on whether researcher manipulation is introduced

7

Most of us are familiar with experimental strategy simply because we read the medical news all the time. A group of patients with a specific illness  are given current treatment X while another group of patients are given treatment Y.  Typically, a third group called control group, are given treatment Z (which is the same treatment X but patients are told it is a new treatment). If the group with treatment Y shows a statistically difference (hopefully improvement) then we say that treatment X is effective in treating the specific illness (note – the control group is needed because some people improve just because they are told they are being given a new state of the art medicine!)

8

9

This shows employment absenteeism results by age of head of household and club membership. This is an example of results that could come from an ex post facto study. Instead of manipulating variables or controlling exposure to an experimental variable to judge absenteeism, we study subjects who have been exposed to the independent factor and those who have not. 

In other words, instead of forcing people to become fishing club members or not, we let them choose their membership, and then use that to predict/explain their level of absenteeism

This is a very common practice in medical research For example, if we want to study the effect of smoking on pregnancy, it’s not really ethical to ask some pregnant women to smoke, while asking others to not smoke. Instead, we just compare the pregnant women who choose to smoke, and those who choose not to determine the effect of smoking on dependent variables that we care about, such as the number of birth problems. 

Because we as researchers don’t fully control/randomly assign their club membership, this is not a real experiment. It’s a quasi, or ex post facto experiment. Ideally we’d like to randomly assign people to the two different comparison groups (wouldn’t that be PERFECT? We’ll discuss the value of random assignment when we discuss experiments) however the ex post facto design is the next best thing we can do without feeling morally guilty! 

Hopefully I’ve pounded these ideas into your brain without a brain surgery!

Different questions involve different study designs

10

11

The purpose of the study asks whether the research is concerned with describing the population’s characteristics or with trying to explain the relationships among variables. Descriptive studies discover the answers to the questions who, what, when, where, or how much. 

Reporting and descriptives are pretty straightforward. You can compile descriptive statistics with almost any kind of design as long as it’s appropriate for your research question.

Explanatory and predictive questions are much trickier mainly because they have an element of “causality” which is a very tricky thing to prove.

12

To be convincing, inferences from experimental designs must meet two other requirements, in addition to those covered on the last slide. The first is control. Control means that all factors but the Independent Variable are held constant and are not confounded with another variable that is not part of the study.  In the club membership example, the two groups must be comparable on all dimensions except for club membership.

The second requirement is that each person in the study must have an equal chance for exposure to each level of the independent variable. This is accomplished through random assignment of subjects to groups. 

Random assignment uses a randomized list of participants for assigning participants to experimental and control groups.  The control group is the group of participants that is measured but not exposed to the independent variable being studied.  Control can also be accomplished using matching. Matching is an equalizing process for assigning participants to experimental and control groups. In this case, we ensure that all groups are essentially equal with respect to the variable of influence.

For example, if Google wants to find out if adding a cute puppy on their page would make people visit their search page more often, they can randomly display the puppy when people visit their search page. If whether you see a puppy is completely random, then this is a true experiment because Google has full control of the Independent Variable (puppy presence) If you see no puppy, then you are randomly assigned to the “control group”Random assignment ensures that participants are comparable across conditions except for the “puppy presence” factor

This full control over the independent variable is key to drawing a “causal” conclusion. Without it any causality conclusion should be taken with a grain of salt.

13

People without scientific training may think that a correlation is causation. However, just because two things change together does not imply a cause‐and‐effect relationship. The essential element of causation is that some external factor produces a change in the dependent variable: A produces B. Empirically, we never demonstrate causality with certainty because we do not prove causal linkages deductively. Empirical research conclusions are based on inferences or inductive conclusions. These conclusions are probability statements, based on what we observe and measure and what we conclude is likely to happen. 

For example, people tend to get sick when it’s cold. Therefore for a long time and still now in many countries people believe that being cold causes one to get sick. In other words, they observe correlation between two variables (temperature and likelihood of being sick) and draw a causal conclusion (increased temperature causes increased likelihood of being sick.) We know that in fact a third variable, which is the amount of germs being spread, is correlated with the first variable – temperature. The colder it is the more time people spend indoor, which makes it easier to spread germs. 

Without a real experiment where researchers have full control over the independent variable (in this case the temperature) it’s premature to draw a causal conclusion when all you have is correlationaldata. 

We laugh when kids say wearing skirts causes you to become a girl, eating a birthday cake causes you to grow upBut are grown‐ups really immune of such foolishness? Joel Best gives lots of good examples in his book ☺

See this news article: http://www.post‐gazette.com/pg/11048/1125971‐192.stmDo you think they have sufficient evidence to show that drinking diet coke causes stroke?

Why do businesses and social scientists obsess so much about causality?Understanding causal relationships is extremely critical to problem solving. We can't solve a problem unless we understand what the root cause is! For example, if we want to know why employees have low levels of productivity, we need to find the potential causes –health issues? Motivation? Compensation? Organizational culture?  We can attempt to improve productivity only after we have identified the most important causes.

However having said that, single linear causal models have its limitations ‐ Refer to Peter Senge's systems thinking 

To make a causality statement, you need strong support for your argument

We need at least 3 pieces of evidence:

1. Your independent variable correlates with your dependent variable in some way. For example, the temperature goes up, the likelihood of getting sick goes down, and vice versa. This is “negative” correlation. It’s a necessary but not sufficient condition for causality

2. The independent variable must precedes the dependent variable. If you turn 30 before eating a birthday cake, it’s hard to explain why eating a cake causes you to get older!

3. You should be able to demonstrate that no other variables could possibly cause the observed changes in the dependent variable. This is hard to do with an observational study like the temperature and likelihood of getting sick. You see a pattern, but because you didn’t control other factors, you can’t really say for sure that there’s no other causes hidden somewhere.

This is why “fully controlled” experiments are so highly valued in scientific studies because they provide the best way to determine causality with certainty. Unfortunately they are not always feasible, especially in the social sciences where manipulation of people is not always ethical.

14

A single survey catches an attitude at a given moment. That’s what a cross‐sectional study does.  A study that captures behavior, attitudes, etc. at several moments over time is longitudinal.

If I study the college dropouts from last year, I am pursuing a cross‐sectional (in time) study. However, if I decide to review the pattern of college dropouts for the past five years, then I am pursuing a longitudinal study. Longitudinal studies are much harder to perform.

15

16

The topical scope refers to the breadth (what properties will be measured) and depth (at what level will the properties be measured) of the study in question. 

A case study examines a single case in detail (e.g., one student of a Coro project ‐ her life, experiences, decisions, challenges and job satisfaction examined in detail) whereas a statistical study looks for patterns in a larger sample (e.g., 200 students who go through a Coro project in terms of their job outcomes, satisfaction, etc)

•A statistical study is designed for breadth rather than depth. It attempts to capture a population’s characteristics by making inferences from a sample’s characteristics and then testing resulting hypotheses. •A case study places more emphasis on full contextual analysis of a few events or conditions and their interrelations. Case studies rely on qualitative data and emphasize the use of results for insight into problem‐solving, evaluation, and strategy.

•While case studies are not considered “scientific,” they do play an important role in challenging theory, providing new hypotheses, and offering new ideas on constructs. 

In this course you are encouraged to have at least an element of statistical analysis in your group project. The individual assignments are designed to develop your skills in statistics and encourage you to apply those skills in the group project work.

17

Designs also differ as to whether they occur under actual environmental conditions. Field conditions mean that the research occurs in the actual environmental conditions where the dependent variable occurs. Under laboratory conditions, the studies occur under conditions that do not simulate actual environmental conditions. In a simulation, the study environment seeks to replicate the natural environment in a controlled situation. For instance, a lab set up as a kitchen would serve as a simulation of a consumer’s own kitchen.

18

The usefulness of a research design is reduced when people in a disguised study perceive that research is being conducted. Participants’ perceptions can influence the outcomes of research. This was first discovered in the 1920s when researchers at the Hawthorne plant of the Western Electric Company found that participants reacted favorably to receiving attention.There are three levels of perception to consider and these are highlighted in the slide.Mystery shopping sometimes provides an example of the third level of perception. Mystery shopping involves individuals who pose as customers and visit retail or service organizations to observe and measure specific behaviors or circumstances. If a retail sales associate knows that she is being observed and evaluated, she is likely to modify her performance.