pln con python - unam · repaso nltk hapaxes()loshapaxes sonlaspalabrasqueocurrenunasola...

25
Clase 10

Upload: others

Post on 06-Aug-2020

16 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Clase 10

Page 2: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

RepasoNLTK

plot() Con esta función de las distribuciones de frecuencia,es posible obtener una gráfica con los datos defrecuencia de cada una de las palabras de un texto.Pueden dar un parámetro opcional numérico paradeterminar el número de palabras que se van a tomarpara hacer la gráfica. Las palabras se ordenan porfrecuencia.

cumulative=True Si desean que su gráfica sea acumulativa,pueden dar este parámetro ocional.

Page 3: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

RepasoNLTK

hapaxes() Los hapaxes son las palabras que ocurren una solavez en un texto. Con esta función, se obtiene unalista con las palabras que tienen una única apariciónen el texto.

nltk.corpus.stopwords.words("spanish") Con el download() deNLTK pueden conseguir un módulo de stopwords (enla sección de Corpora). Para usarlas, pueden obtenerla lista que tiene NLTK para el español con estafunción.

Page 4: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

TF

Frecuencia de término:I Como su nombre lo indica, este valor es la frecuencia con la

que ocurre el término en un documento. En el último ejerciciocreamos diccionarios en los que es sencillo obtener este valorpara cada par documento-palabra.

I Para los que se quieran ver más profesional y no darpreferencia a los documentos largos, pueden agregar unaoperación extra al cálculo del TF: dividirlo entre la frecuenciamáxima del documento.

TF (d , t) = f (d , t) TF (d , t) =f (d , t)

max{f (d , x) : x ∈ d}

Page 5: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

IDF

Frecuencia inversa de documento:I Este valor no varía entre documentos, solo entre palabras. Sin

embargo, para calcularla es necesario saber cuántosdocumentos hay en nuestro corpus (indicados más abajo conla letra D) y en cuántos aparece la palabra.

I El Idf se define como el logaritmo de la razón que existe entrela cantidad total de documentos del corpus entre la cantidadque contienen la palabra.

I Para los que se quieren ver más profesionales, pueden agregarla suma de uno a esa división para evitar división entre cero.

IDF (t) = logD

{d ∈ D : t ∈ d} IDF (t) = logD

1 + {d ∈ D : t ∈ d}

Page 6: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

TF-IDF

TF (d , t) = f (d , t) TF (d , t) =f (d , t)

max{f (d , x) : x ∈ d}

IDF (t) = logD

{d ∈ D : t ∈ d} IDF (t) = logD

1 + {d ∈ D : t ∈ d}

TFIDF (d , t) = TF (d , t) · IDF (t)

# NOTA: para calcular logaritmos:

import math

logaritmo=math.log(x)

Page 7: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Ejercicio 19

De verdad les recomiendo que partan del ejercicio anteriorI Programen una función que calcule la Tf-idf dando como

parámetros de entrada una palabra y el nombre de undocumento de su corpus.

Page 8: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKColocaciones

I Las colocaciones son secuencias de palabras que ocurren juntas deuna forma inusualmente frecuente.

I NLTK tiene una función particular para obtener las colocaciones deun texto.

# Aquí ya tenemos tokens y tokens_limpios.

texto_nltk=nltk.Text(tokens)texto_limpio_nltk=nltk.Text(tokens_limpios)

texto_nltk.collocations()print()texto_limpio_nltk.collocations()

I Se puede usar tanto el texto completo como el "limpio", ambos daninformación que puede ser útil, como "rubro citado" , "S.A. C.V." o"Ciudad México". Estos ejemplos aparecen sólo en uno de los casos.

Page 9: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKEtiquetado PoS

I Un recurso muy útil para el PLN es el etiquetado PoS (de Part ofSpeech).

I Con esta herramienta, la computadora hace su mejor esfuerzo porasignarle a cada palabra de un texto la parte de la oración que lecorresponde (sustantivo, verbo, adjetivo, determinante, etc.).

I NLTK cuenta con un etiquetador PoS. Desafortunadamente, esúnicamente para inglés.

I Afortunadamente, también tiene acceso a un etiquetador externo(de Stanford) que sí es capaz de manejar el español.

I Esta herramienta no la tiene por defecto, y al ser externa tampocose descarga desde el sistema de descarga que hemos estado usandohasta ahora.

I https://nlp.stanford.edu/software/tagger.shtml

Page 10: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKEtiquetado PoS

I En la página de Stanford podemos encontrar toda lainformación sobre el etiquetador y ligas de descarga.

Page 11: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKEtiquetado PoS

I La descarga básica de su etiquetador también funciona sólo coninglés, así que necesitamos la descarga completa, es la segunda liga.

I Esto va a descargar un archivo comprimido, es importante que lodescompriman y que recuerden dónde lo colocan. Recuerden laforma de obtener rutas completas, será necesario para usarlo.

Page 12: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKEtiquetado PoS

I Una vez que hayan descargado y descomprimido el zip, haydos archivos que deben localizar.

I El primero está directamente dentro de la carpeta que acabande descomprimir, se llama stanford-postagger.jar.

I El segundo, está dentro de la carpeta models, y su nombre esspanish.tagger sin nada más.

I Para ambos archivos van a necesitar la ruta completa parausarlos con Python y NLTK.

Page 13: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKEtiquetado PoS

I La función StanfordPOSTagger() recibe de parámetros losarchivos que obtuvimos, primero el spanish.tagger, luego elstanford-postagger.jar.

from nltk.tag import StanfordPOSTagger

# Aquí obtenemos la lista de tokens en "tokens"

tagger="C:\\Users\\user\\Downloads\\...\\spanish.tagger"jar="C:\\Users\\user\\Downloads\\...\\stanford-postagger.jar"

etiquetador=StanfordPOSTagger(tagger,jar)etiquetas=etiquetador.tag(tokens)

for etiqueta in etiquetas:print(etiqueta)

Page 14: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKEtiquetado PoS

I Con esa información, el StanfordPOSTagger() crea un etiquetadorque luego podemos utilizar para etiquetar nuestra lista de tokens.En este caso, es mejor utilizar la lista que no está "limpia".

from nltk.tag import StanfordPOSTagger

# Aquí obtenemos la lista de tokens en "tokens"

tagger="C:\\Users\\user\\Downloads\\...\\spanish.tagger"jar="C:\\Users\\user\\Downloads\\...\\stanford-postagger.jar"

etiquetador=StanfordPOSTagger(tagger,jar)etiquetas=etiquetador.tag(tokens)

for etiqueta in etiquetas:print(etiqueta)

Page 15: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

NLTKEtiquetado PoS

I ¿Y esas etiquetas qué?I Cada etiqueta tiene un significado, en la página https:

//nlp.stanford.edu/software/spanish-faq.shtml#tagsetpueden encontrar las etiquetas con sus significados y ejemplos.

Page 16: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

FIN

Page 17: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Extras

Page 18: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Ejercicio

I Elijan un documento, uno de esos que tienen en su diccionariocon distribuciones de frecuencia.

I Para cada término de su documento, escriban en un archivoTXT una línea con el término, seguido de una coma, seguidode su frecuencia (o aún mejor, el tf-idf).

Page 19: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Ejercicio

I Ahora, intenten abrir ese archivo que acaban de crear conExcel (o con Calc de Libreoffice, o con Gnumeric, etc.)

Page 20: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

CSV

I Lo que acaban de hacer es en realidad un CSV (commaseparated values), por lo regular estos archivos se usan conextensión csv (no txt) y como acaban de ver, es el equivalenteen texto para las hojas de cálculo.

I Python tiene un módulo especial para facilitar el manejo deestos archivos.

import csv

Page 21: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

CSV

I El módulo csv proporciona la su función writer(), que recibecomo parámetro un archivo abierto. Opcionalmente pueden usar losparámetros delimiter= y quotechar=.

I La variable que devuelve writer() contiene funciones para escribiren el archivo. La función writerow() recibe una lista, y escribe elcontenido en un renglón del csv. Las comas y los caracteresespeciales los maneja automáticamente.

import csv

# Por aquí se declaran los diccionarios.

with open("frecuencias.csv","w") as archivo_csv:escritor_csv = csv.writer(archivo_csv)for termino in diccionario_frecuencias["texto1.txt"]:

frecuencia=diccionario_frecuencias["texto1.txt"][termino]escritor_csv.writerow([termino,frecuencia])

Page 22: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

CSV

I Y como es de esperar, también tiene lector de csv, para eso se usala función reader(). De igual manera recibe un archivo, peroabierto en modo de lectura.

I El lector no necesita más funciones para leer. Lo pueden recorrercomo una lista, y les va a regresar, en otra lista, el contenido de loselementos de un renglón del csv. Pueden considerar al lector, comouna lista de listas.

import csv

with open("frecuencias.csv","r") as archivo_csv:lector_csv = csv.reader(archivo_csv)for linea in lector_csv:

print(linea)

Page 23: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Expresiones Regulares

Cuando compilan una expresión regular, es posible dar opciones es-peciales de cómo se de deben comportar ciertos símbolo especiales,aquí les muestro casos interesantes:re.MULTILINE Esta opción cambia el comportamiento del acento

circunflejo (ˆ) ya que en lugar de coincidirúnicamente con el inicio del texto, va a coincidir conel inicio de cada línea.

re.DOTALL Esta opción cambia el comportamiento del punto, ypermite que coincida también con saltos de línea.

Algo importante que deben saber, es que solo pueden usar una op-ción al compilar sus expresiones regulares.

Page 24: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Expresiones Regulares

Algunos se podrán preguntar para qué quieren cambiar el compor-tamiento del acento si pueden leer línea por línea y conseguir lomismo. Así que les traigo un ejemplo interesante:import re

with open("La Tragedia Del Rey Ricardo.txt") as archivo:texto=archivo.read()

expresion_texto="^[A-Z]\w+:(.*[\n.])+?(?=[A-Z]\w+:)"expresion=re.compile(expresion_texto,re.MULTILINE)resultados=expresion.finditer(texto)for resultado in resultados:

print(resultado.group(0))print("========================================")

Page 25: PLN con Python - UNAM · Repaso NLTK hapaxes()Loshapaxes sonlaspalabrasqueocurrenunasola vezenuntexto.Conestafunción,seobtieneuna listaconlaspalabrasquetienenunaúnicaaparición

Expresiones Regulares

Y además hago uso de todavía un recurso más, la instrucción especial(?=). Esta instrucción hace que lo que se encuentra entre paréntesisse busca, pero no coincide.import re

with open("La Tragedia Del Rey Ricardo.txt") as archivo:texto=archivo.read()

expresion_texto="^[A-Z]\w+:(.*[\n.])+?(?=[A-Z]\w+:)"expresion=re.compile(expresion_texto,re.MULTILINE)resultados=expresion.finditer(texto)for resultado in resultados:

print(resultado.group(0))print("========================================")