Bilimsel Çalışmanın Planlanması

Dr.Önder Ergönül

Koç Üniversitesi Tıp Fakültesi

Enfeksiyon Hastalıkları ve Klinik Mikrobiyoloji Bölümü

6 Kasım 2018

İstanbul

İçindekiler 1. Yazının önemi 2. Giriş bölümü 3. Hipotez: Occam 4. Yöntem: Tasarım

1. Etki tahminleri 2. Şans faktörü

5. Bulgular 1. Tanımlayıcı istatistik

1. Görsel anlatım

2. Örneklem büyüklüğü 3. Tek değişkenli analiz 4. Çok değişkenli analiz

6. Meta-analiz 7. Tartışma bölümü

“Biz” den “Ben”e Ben Olabildim mi?

• İmece/kollektif çalışmanın rolü

• Sırası gelenin yazısı yazılır mı?

• Bağımsız araştırmacı

– Önemli mi?

– Nasıl olunur?

• İlerleme nasıl sağlanır?

• Tüm bunları neden yapıyoruz?

Ben Neredeyim? • Hipotez bulma

• Araştırma tasarımı

• Veri toplama

• Verileri analiz etme

• Yazım

– Ana hatlar

– Inceltme, yazının son hali

• İş takibi: başladığımız tempoda bitirmek

"VERITAS SIMPLEX ORATIO EST “

THE LANGUAGE OF TRUTH IS SIMPLE

SENECA

Sato Y, et al, NEJM 2017

En büyük yazarlar, Homeros, Dante, Shakespeare, farklı olanla

ilgilendikleri ve ancak kayda değer ayrıntıları aktardıkları için başarılıdır

William Strunk & E.B. White

Bilimsel Çalışmalarda En Önemli Eksiklerimiz

• Yaratıcı düşünme eksikliği

• Büyük düşünememek – Kişilere takılmak

– “Büyük resim”

• Işleri takip ve sonuçlandırmak

• yazmamak – Yazıyı bilimsel üretim sürecinin dışında görmek

• Bazıları için apayrı bir yetenek

• Rutin işlerden kaçanlar yazar

• Biz yazamayız çünkü çok yoğunuz

10

Tıp Etiği, 30 Aralık 2016, Amerikan Hastanesi

12

Cardiology/Cardiovascular: Citable Document: 10, H index: 32 Infect Dis : Citable document: 20, H index: 36

Türkiye: 2015-2016

Araştırma Sonuçları

1. Hata/Yanlılık (Bias)

2. Karıştırıcı etken

(Confounder)

3. Şans faktörü

Tasarım

Analiz

1. Ön hazırlık, hipotez kurma

2. Çalışma tasarımı

3. Veri toplama

4. Verilerin değerlendirilmesi ve analiz

5. Yazım

Çalışma Evreleri

William Ocham (14th cc) Entia non sunt multiplicanda praeter necessitatem More things should not be used than are necessary. When there are many explanations for symptoms, the simplest diagnosis is the one to test first. If a child has a runny nose, it probably has the common cold rather than a rare birth defect. "When you hear hoof beats, think horses, not zebras".

lex parsimoniae (the law of briefness)

Occam’ın Usturası Occam: 14 yy, İngiliz felsefeci ve din bilimci

“Birşeyleri açıklamak için ortaya atılan varsayımlar, ihtiyacın ötesinde çoğaltılmamalıdır”

Taylor RB. The Clinician’s Guide to Medical Writing Springer, 2005.

“Rakip varsayımlar arasında en doğru varsayım, en basit olanıdır”

Wynn CM, Wiggins AW. Yanlış Yönde Kuantum Sıçramalar. TÜBİTAK, 2005.

“Basite indirgeyin, kolayına kaçmayın…”

Klinik Araştırmaların Sınıflandırılması

Kanıtın Kalitesi

I. En az bir uygun tasarlanmış randomize klinik çalışma Meta-analiz?

II-1. Randomizasyon yapılmamış iyi tasarlanmış kontrollü çalışma

II-2. İyi tasarlanmış, tercihen birden çok merkezde yapılmış kohort veya vaka-kontrol çalışma

II-3. Girişimli ya da girişimsiz zaman serileri

III. Saygın otoritelerin klinik deneyime dayanan görüşleri, tanımlayıcı çalışmalar, uzman komisyonların raporları

RKÇ veya

Meta-analiz

Randomizasyonsuz

kontrollü

Çok merkezli kohort veya olgu-kontrol

Uzman görüşü, tanımlayıcı çalışmalar, uzman raporları

Araştırıcı maruziyete

karar veriyor mu?

Deneysel (Girişimsel)

Çalışma

Gözlemsel (Girişimsel olmayan)

Çalışma

Randomizasyon?

Randomize kontrollu çalışma

Randomize olmayan kontrollu çalışma

Karşılaştırma Grubu?

Analitik çalışma

Tanımlayıcı çalışma

EVET HAYIR

EVET HAYIR HAYIR EVET

Çalışma Tasarımları

KOHORT Maruziyet (exposure)

Maruziyet (exposure)

Sonuç (outcome)

Sonuç (outcome)

Vaka-Kontrol

Kesitsel çalışma

Maruziyet

Sonuç

Çalışma Tasarımları

More doctors smoke camels than any other cigarette! 113,597 doctors were asked 1946, USA

http://www.youtube.com/watch?v=gCMzjJjuxQI

British doctors study

Otizm

(+)

Otizm

(+)

Kızamık

aşısı (+) a b

Kızamık

aşısı (-) c d

Neden – Sonuç İlişkisi

Relatif Risk

RR = =

RR= Maruz kalanların insidansı/ Maruz kalmayanların

insidansı

Maruz kalanların riski

Maruz kalmayanların riski

Sonuç Var Sonuç Yok

Etken Var a b

Etken Yok c d

a / (a + b)

c / (c + d)

Güven Aralığı Hesaplaması

L = log(a´ d

b´c)

SE =1

a+

1

b+

1

c+

1

d

95%CI for OR = [exp(L -1.96(SE)), exp(L +1.96(SE))]

Rothmans a bak

.05

.1.1

5.2

.25

.3

Pro

po

rtio

n

0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000Sample Size

prop lowerci

upperci

29/54

Güven Aralığı Yorumu

30

Olgu Kontrol Çalışma Tasarımı

Olgu

Kontrol

Maruz

kalanlar

Maruz

kalmayanlar

Maruz

kalmayanlar

Maruz

kalanlar

Zaman Çalışmanın

başlaması

Araştırmanın Yönü

OLGU KONTROL ÇALIŞMALAR PROSPEKTİF OLABİLİR

Sonuç (Hastalık, ölüm, vb)

Hasta olanlar (olgular)

Etken var

Etken yok

Hasta olmayanlar

(kontrol grubu)

Etken var

Etken yok

Araştırmanın yönü

zaman

Kohort Vaka-Kontrol

1. Başlangıç noktası Neden (maruz kalma)

Sonuç (vaka)

2. Çalışma süresi Uzun Kısa

3. Maliyet Pahalı Ucuz

4. Çalışmanın yönü Etkenlerden sonuca ya da olgulara

Sonuçtan ya da olgulardan etkenlere

5. Gerçekleştirme Zor Kolay

Sıradışı bir durum!

Jaffe HWf, et al. National Case-Control Study of Kaposi’s Sarcoma and Pneumocystis carinii Pneumonia in Homosexual Men. Ann Int Med 1983; 99: 145-151.

1981 Haziran/Temmuz Kaliforniya ve New York’da, genç, sağlıklı homoseksüellerde pneumocytsis carinii pneumonia (PCP) ve Kaposi sarcoma(KS) sıklığı artmaktadır.

Amaç: Genç homoseksüellerde Kaposi sarkomu ve Pneumocystis carinii pnömonisi görülmesini belirleyen risk faktörlerinin araştırılması

Yöntem: Olgu-Kontrol / 50 olgu ve 150 kontrol

Sonuç:

– Saunalara gidenler

– Sifiliz öyküsü olanlar

– İlaç kullananlar

– İnhale nitrit kullananlar

– İtalyanlar (HLA-DR5 antijeni ile ilişkili olarak)

Sıradışı bir durum!

2008 Nobel Tıp Ödülü Sahipleri: HIV

Francoise Barre-Sinoussi Luc Montagnier Harald zur Hausen

36

Olgu Kontrol Çalışmalar

37

Çalışma Grubu

• Olgu kontrol çalışmalarında en büyük sorun, kontrol grubunun oluşturulmasıdır.

• Kontrol grubu, olgular ile aynı kaynak popülasyondan olmalıdır.

Kaynak (source)

populasyon

Olgular Kontrol Grubu

Odds Oranı: Küçük (nadir) Sonuç Varsayımı

RR= = = = OR a/ (a+b)

c/ (c+d)

a / b

c / d

ad

bc

Hastalık Var Hastalık Yok

Etken Var a b

Etken Yok c d

Odds Ratio

Başarısız Başarı Toplam

1 - p p (1 - p) + p = 1

.25 = 1 - p .75 = p 1 = (1 - p) + p

Odds = p/(1-p) = .75/ (1 - .75) = .75/.25 = 3

Odds Ratio = pA/(1-pA) pB/(1-pB)

Risk ve Odds

Risk Odds

0.05 or 5% 0.053

0.1 or 10% 0.11

0.2 or 20% 0.25

0.3 or 30% 0.43

0.4 or 40% 0.67

0.5 or 50% 1

0.6 or 60% 1.5

0.7 or 70% 2.3

0.8 or 80% 4

0.9 or 90% 9

0.95 or 95% 19

Potansiyel Yanlılık (bias, hata) Tipleri

• Örnek seçerken (selection bias)

– Kendi kendine seçim

– Tanısal

• Bilgi toplarken

– Yanlış gruplama (misclassification bias)

– Hatırlayamama (recall bias)

Günlük Pratikte Hatalarımız 1. Bilinemezcilik

1. Agnostisizm

2. Ağaca bakarken ormanı görememek 1. Tek bir olguyla her şeyi açıklamaya kalkmak

3. Teori ve pratik bağını kuramamak 1. Kendi pratiğini özgün saymak (Mandell hasta mı görmüş?)

2. Rehberleri doğru anlamamak

4. Temel bilimlerden uzaklaşmak 1. Klinik pratiğe kendini sınırlamak (essah mı?)

5. Confounding by indication 1. Hastanın ciddiyetine göre karar vermek

6. Aynı anda iki doğru aramak 1. Occam’ın usturası

7. Retrospektif düşünme: outcome bias 1. Geçmişte yaşanan düşünce süreçlerini ve adımlarını atlamak

2. Geride bıraktığın ihtimalleri bırakmak

8. Regression to mean

Akış Diyagramı

Tasarlarken Analiz yaparken Okuyucu için

Tanımlayıcı İstatistikte Temel İstatistik Kavramlar

Tablolar Test Örnek

Tablo 1

Tanımlayıcı istatistik

Ortalama, ortanca, standart sapma, vb.

Hastaların %51’i kadındır

Tablo 2

Farkları inceleyen analitik istatistik

İki grup karşılaştırması için t-testleri ve ki-kare (çapraz

tablo) testleri

Ciddi seyirli hastalarda AST düzeyi daha yüksektir

Tablo 3

İlişki ve kestirim inceleyen analitik

istatistik

Bağıntı analizi ve regresyon analizi

Çok değişkenli analiz sonucunda, AST düzeyi

300’ün üzerinde olanlarda olmayanlara göre ölüm

oranı 3 kat fazladır (odds oranı)

Yazının Tabloları

Veri Toplama

Veri Toplama Tez Yazımında En Önemli Adımlardan Biridir!

•Veriler kesişmemeli

•Seçenekler birbirini dışlamalı

•Her bir kolonun amacı ve anlamı olmalı

•Tüm veriler tek bir veritabanında toplanmalı

Çalışma Birimi Nedir?

• Hasta günü

• İlaç günü

Her bir satır neyi gösterir?

Veri

Sayısal, sürekli

(continuous) kategorik

Nominal

dikotom (binary)

Ordinal

Veri Türleri

Veri Türleri

• Kategorik veriler

– Nominal • Dikotom: kadın veya erkek

• Kan grupları

Veri Türleri

• Kategorik veriler

– Ordinal • Ciddiyet skalası

• Derecelendirme

Veri Türleri

• Devamlı: ölçülebilir değerler

– Yaş

– Kolesterol düzeyi

Tanımlayıcı İstatistik merkezi eğilim ölçütleri

Aritmetik Ortalama

Ortanca

Mod

Geometrik Ortalama

Değer aralığı (range) : min-max

Standart sapma (standard deviation)

Persentil (percentile)

Çeyreklerarası aralık (interquartile range)

Merkezden Saçılım Ölçütleri

Hangi verinin standart sapması daha büyük?

• Standart sapmadan farklı bir ölçüt

• Standart sapma ve örneklem sayısına bağlıdır

• Standart sapma / √ örneklem sayısı

• Örneklem sayısı artıkça standart hata küçülür

• SS: verilerin yayılımını, SH: ortalamanın belirsizliğini gösterir

Altman DG. Standard deviations and standard errros. BMJ 2005; 331: 903

Ortalamanın Standart Hatası

Tablo ve Grafinin Önemi

1. Kendimiz için 1. Verilerimizi daha iyi analiz etmek

2. Sonuçlarımızı daha açık görmek

2. Okur için: 1. Bulduklarımıza ikna etmek

2. Okurun işini kolaylaştırmak

3. Editör ve hakemler için 1. Ikna etmek

2. Farklı kılmak, orijinallik yapmak; yayınlanmayı kolaylaştırmak

Grafik Türleri 1. Çubuk grafik

2. Histogram (sıklık dağılımı)

3. Kutu grafik (box-plot)

4. Eğriler (Y=a + bx): fonksiyonlar 1. Scatter plot

5. EAA: Eğri altında kalan alan (ROC)

6. Olay-zaman (kaplan meier)

7. Klinik seyir

8. Özel grafikler 1. haritalar

Tanımlayıcı İstatistik

Yaş n= % Kümülatif

sıklık

5-14 15 17.6 17.6

15-24 19 22.3 39.9

25-34 21 24.8 64.7

35-44 30 35.3 100

Frekans dağılımı ve kümülatif frekans

Jones KE, Nature 2008

The proportion of viral infections increases

150

249 266

438

717

1315 1318

868

1075

796

910960

6 13 13 27 33 63 63 50 54 37 37 44

4.00

5.22

4.89

6.16

4.604.79

4.78

5.76

5.024.65

4.074.58

0.00

1.00

2.00

3.00

4.00

5.00

6.00

7.00

0

200

400

600

800

1000

1200

1400

2002-03

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

2014

CFR

NumberofCases

MoH, Public Health Institute, Turkey

Cases and Case Fatality Rate: 2002-2014

Hipotez Testleri ve

Örneklem Büyüklüğü

İstatistik yöntemlerin evrimi

% 1978-79 1989 2004-05

Sadece tanımlayıcı 27 12 13

İstatistik tabloları (contingency tables)

27 36 53

Epidemiyolojik istatistikler (relatif risk, odds)

10 22 35

Sağkalım analizi 11 32 61

Çok değişkenli regresyon 5 14 51

Güç analizi 3 3 39

67

Horton NJ, Switzer SS. NEJM 2005; 353.

Hipotezlerin tanımlanması

Araştırmanın amacı belirlendikten sonra bu amaca uygun bir hipotez cümlesi kurulmalıdır.

• Gruplar arasında fark:

– “Erkekler ve kadınlarda ilaca yanıt oranları farklıdır.

– “Tutulan eklem sayısının 4’ten az olduğu grupla 4 ya da daha fazla olduğu grup arasında ilaca yanıt oranları farklıdır.”

• Kestirim:

– “Yaş, cinsiyet, hastalık şiddeti vb. veriler bilindiğinde hastanın ilaca yanıt verip vermeyeceği kestirilebilir.”

68

Hipotez testi

• “Null” hipotezi (H0): “Karşılaştırılan iki değer arasında fark yoktur” önermesi

• Alternatif hipotez (H1): “Karşılaştırılan iki değer arasında fark vardır” önermesi

69

P değeri nedir?

Sıfır hipotezinin reddedilme olasılığı

“The P value or calculated probability is the estimated probability of rejecting the null hypothesis (H0) of a study question when that hypothesis is true.”

Hipotez testi

Gerçek durum

Fark var

(H1)

Fark yok

(H0)

Test

sonucu

Fark var

(H0 red)

OK

Güç veya 1-

Tip I hata

()

Fark yok

(H0 kabul)

Tip II hata

() OK

71

• Gerçekte tedavi ve kontrol gruplarının EŞİT olmasına rağmen istatistik anlamlılık saptanması, yanlış pozitiflik, p değeri

• Genellikle 0.05,

– Araştırmacılar, %5’den daha az yanlış pozitiflik hedeflemek isterler.

72

Tip I hata

• Gerçekte tedavi ve kontrol gruplarının FARKLI olmasına rağmen istatistik anlamlılık saptanmaması, yanlış negatiflik, p değeri

• Eğer 0.20 ise,

– Araştırmacılar, %20’den daha düşük bir yanlış negatiflik isterler.

73

Tip II hata

Örneklem büyüklüğü hesaplamaları

Kaç hasta olmalı??

50 hasta yeter mi???

74

Örneklem büyüklüğünün önemi

P değeri her şeyin çaresi mi?

– P<0.05 ise “null” hipotezi (H0) reddedilir, artık elimizde ilginç bir sonuç vardır.

– İlaç ve plasebo arasındaki karşılaştırmada p<0.05 ise, ilaç plasebodan farklıdır.

– p > 0.05 ise? • Michael Jordan vs siz: 7/7 vs 4/7 basket

• p=0.07 (Fisher kesinleme testi)

– En az kaç atışta Michael Jordan farkını gösterebilir?

75

76

Örneklem büyüklüğünün hesaplanması

Gerekli bileşenler:

1. Anlamlılık kriteri: Tip I hata ()

2. Çalışmanın gücü: 1-Tip II hata (β)

3. Beklenen minimum etki (olay sıklığı) farkı

a. İki grup arasında beklenen minimum etki farkı, veya

b. Kontrol grubunda (veya popülasyonda) ve tedavi grubunda beklenen etki büyüklüğü / olay görülme sıklığı

4. Öngörülen ölçüm değişkenliği Çalışmanın tasarımına göre uygun bir testle (örn. tek yönlü veya tek yönlü analiz) örneklem büyüklüğü hesaplanır.

77

Örneklem büyüklüğünün hesaplanması Güç (1-β) – genellikle % 80 - 90 olması istenir.

• Gerçekten var olan bir farklılığın istatistiksel olarak anlamlı olarak saptanma olasılığı

• Bir çalışmanın var olan gerçek bir farkı saptayabilme gücü

• Gerçekte fark varken, H0’ı reddetme ve alternatif hipotezi doğrulama olasılığı, yani fark olduğunu ortaya koyma olasılığı

– β=0.20 ise, güç %80

Gerçek durum

Fark var

(H1)

Fark yok

(H0)

Test

sonucu

Fark var

(H0 red)

OK

Güç = 1-

Tip I hata

()

Fark yok

(H0 kabul)

Tip II hata

() OK

78

GÜÇ

testin, anlamlı farkı

bulma olasılığı

testin anlamlılık

düzeyi

Hipotez testi

• Örneklem, gruplar arasındaki gerçek farkı gösterebilecek kadar büyük olmalı

• Örneklem, gereksiz maliyet ve etik olmayan uygulamaları önleyebilecek kadar küçük olmalı

79

Örneklem büyüklüğünün önemi

Yalancı pozitiflik istenmezse küçültülür.

• Bu durumda β büyür ve güç azalır

– Örneğin yeni bir ilacın yan etkisi araştırılırken

küçük olsun istenir.

Yalancı negatiflik istenmezse güç artırılır.

• Bu durumda β küçülür, ’nın büyümesinde sakınca yoktur.

– Örneğin, vitamin vs profilaktik antibiyotik

80

Örneklem büyüklüğünün hesaplanması

Güç, örneklem büyüklüğü ve tip I hata arasındaki ilişki

81

0

0,2

0,4

0,6

0,8

1

0 5 10 15 20 25 30 35 40

Sample size

0,05

0,01

Örneklem büyüklüğü ve tip I hata

• Karşılaştırılan gruplar arasında ölçülen ve klinik açıdan önemli olabilecek en küçük fark

• Literatüre bakılarak veya klinik deneyimle belirlenebilir

• Minimum beklenen fark küçüldükçe, istenen örneklem büyüklüğü artar

82

Beklenen minimum etki farkı

• Her bir grupta yapılacak ölçümlerin beklenen standart sapması

• Ön sonuçlara, literatüre veya sübjektif deneyime göre belirlenir

• Ölçüm değişkenliği artıkça, örneklem büyüklüğü de artar

83

Öngörülen ölçüm değişkenliği

•

• Güç

• Minimum beklenen (etki / olay sıklığı) farkı

• Ölçüm değişkenliği (SS)

84

Örneklem büyüklüğü

Örneklem büyüklüğü

• Tedavi grubunun parametrelerini tahmin etmeye

çalışmıyoruz !

• “Saptamaya değer tedavi etkisi”ni tahmin ediyoruz.

• Genellikle kontrol grubuna dair veriler başlangıç noktası olur.

85

Grupsal parametreler nasıl tahmin edilecek?

Yayınlardan örnek

Yayınlardan örnek:

“Güç=0.90 ve = 0.05 kabul ederek her bir grup için 120 kişilik örneklem büyüklüğü hesapladık.”

Bu ifade anlamsızdır.

Çünkü, beklenen minimum etki /olay sıklığı farkı tahmini ve değişkenliği belirtilmemiştir.

86

Makale okurken “örneklem büyüklüğü”

Örneklem büyüklüğü hesabı belirtmemek çalışmanın naifliğine işaret eder. Bu durumda başka eksikliklere de (bias) bakılmalıdır;

Randomizasyon Körleme Karıştırıcı faktörler

Örneklem hesabının yapılmamış olması büyük bir eksiklik değildir, çünkü örneklem büyüklüğü “p” değeri ve güven aralıkları ile anlaşılır. Asıl büyük hata, grupların dağılımında aranmalıdır!

İzlemden çıkanların sayısı ve bunun gruplar arasındaki farkına dikkat etmelidir.

87

Örneklem büyüklüğü hesabı

88

• Çalışma tasarımı daha özenli yapılmalı

– Randomizasyona dikkat edilmeli

– Karıştırıcı faktörlere dikkat etmeli

– Güven aralıkları bildirilmeli

• Çalışma sonuçları yine de yayınlanmalı

– Sonuçlar hiç değilse meta-analize dahil edilebilir.

89

Yeterli örneklem büyüklüğü sağlanamazsa!

Chocolate Consumption, Cognitive Function, and Nobel Laureates Messerli N Engl J Med 2012

1: Association- The organism and the disease are observed together consistently. 2: Isolation - The organism can be isolated from the diseased. 3: Inoculation - The isolated organism causes the disease in a healthy individual. 4: Re-isolation - The organism can be re-isolated from the infected individual.

Koch Postülatı

E

F

B

C

A E

H

G

C

A E

J

I

C

A

The Causal Pie Model

OUTCOME

C

A B

Causal Relation between Independent and dependent variables

Karıştırıcı Etken

Baktığınız etkenle sonuç arasında, başka bir etkenden

dolayı bir ilişki varmış gibi sonuç çıkması

Etken Sonuç

Karıştırıcı

Karıştırıcı Etken

Vücut ağırlığı Mortalite

Sigara

Karıştırıcı Etkenleri Kontrol Etmek İçin

• Randomizasyon

• Tabakalama

• Düzeltme (adjustment)

– Standardizasyon

– Lojistik regresyon

– Çoklu doğrusal

– Regresyon

• Çoklu Regresyon (multiple/multivariate regression) – bağımlı değişken – sürekli – bağımsız değişken – sürekli / kesikli

• Lojistik Regresyon – bağımlı değişken – dikotom – bağımsız değişken – sürekli / kesikli

• Cox Regresyon – bağımlı değişken – dikotom – bağımsız değişken - sürekli / kesikli – zaman değişkeni

Çok Değişkenli Analiz Yöntemleri

Sağkalım Analizi Kaplan-Meier Grafikleri

• Sonuç değişkeni = Bir “olaya” kadar geçen süre (time until an event occurs)

• “Olay” = ölüm, iyileşme, relaps...

ay

Ha

sta

sa

yıs

ı

50

49

44

42

40

39

2 4 6 8

Log-rank testi iki eğriyi istatistiksel olarak karşılaştırır

P-değeri<0.05 ise iki eğri istatiksel olarak farklıdır

Yazmak için öneriler

1. Planlama 1. Yazmaya erken aşamada başlamak 2. Günlük iş listesi yapmak

2. Konsantrasyon 1. ısınma süresini azaltmak 2. Uygun bir ortam hazırlamak 3. Her gün bir şey yazmak

3. Revizyon 1. Yazdıklarını özetleyebilme ve atabilme becerisi 2. Uygun referans programları kullanmak

Özet

• Başlamadan önce iyi bir planlama

– Ekip oluşturma

– Iş takibi

• Veri toplama formu

• Örneklem büyüklüğü

• Prospektif çalışmaların kaydedilmesi

• Ara değerlendirmeler

Hepimiz, kimsenin asla usta olamayacağı bir zanaatta çırağız

Ernest Hemingway