News Problem #38

New Issue

Berack · 2025-10-20T11:48:07+02:00

Berack96 commented

2025-10-20 11:48:07 +02:00

(Migrated from github.com)

Problema con le news dato che non prende correttamente tutte le news ma solo un extract breve.
Per qualche ragione Gnews e DuckDuckGoNews non funzionano bene, dato che prendono correttamente il titolo, ma l'intero articolo viene tagliato via o rimane una frase a caso di esso...
Penso abbia a che fare con il fatto che la libreria usata sotto sotto sia newspaper3k che è veramente datata (ultimo commit vero è del 2020).

Propongo quindi di provare a fixare il problema utilizzando la libreria newspaper4k se funziona, altrimenti di trovare altre fonti o fare un qualche tipo di parsing della pagina con bs4.
Per la risoluzione basta andare a prendere l'articolo dentro la funzione get_latest_news delle due API non funzionanti e provare a fare una chiamata all'URL di ogni articolo, parsificando la news con la libreria newspaper4k.

Checklist

Aggiungere newspaper4k alle dipendenze dentro pyproject.toml
Modificare la funzione get_latest_news di GoogleNews in modo che aggiorni correttamente la descrizione di ogni articolo.
Modificare la funzione get_latest_news di DuckDuckGoNews in modo che aggiorni correttamente la descrizione di ogni articolo.
Testare che l'articolo viene preso correttamente

Problema con le news dato che non prende correttamente tutte le news ma solo un extract breve. Per qualche ragione Gnews e DuckDuckGoNews non funzionano bene, dato che prendono correttamente il titolo, ma l'intero articolo viene tagliato via o rimane una frase a caso di esso... Penso abbia a che fare con il fatto che la libreria usata sotto sotto sia [newspaper3k](https://github.com/codelucas/newspaper) che è veramente datata (ultimo commit **vero** è del 2020). Propongo quindi di provare a fixare il problema utilizzando la libreria [newspaper4k](https://github.com/AndyTheFactory/newspaper4k) se funziona, altrimenti di trovare altre fonti o fare un qualche tipo di parsing della pagina con bs4. Per la risoluzione basta andare a prendere l'articolo dentro la funzione `get_latest_news` delle due API non funzionanti e provare a fare una chiamata all'URL di ogni articolo, parsificando la news con la libreria newspaper4k. ## Checklist - [ ] Aggiungere `newspaper4k` alle dipendenze dentro pyproject.toml - [ ] Modificare la funzione `get_latest_news` di GoogleNews in modo che aggiorni correttamente la descrizione di ogni articolo. - [ ] Modificare la funzione `get_latest_news` di DuckDuckGoNews in modo che aggiorni correttamente la descrizione di ogni articolo. - [ ] Testare che l'articolo viene preso correttamente

Simo93-rgb commented

2025-10-29 17:53:05 +01:00

(Migrated from github.com)

A quanto pare non è un bug in senso stretto. DDGS funziona recuperando uno snippet dai siti web poiché lo scraping totale della pagina non è consentito. Bisognerebbe implementare uno scraper che però a seconda del sito potrebbe essere bloccato e in ogni caso per ogni articolo bisognerebbe fare una richiesta HTTP, quindi se gli articoli finiscono per essere una decina per ciclo potrebbe diventare molto lento.
Poi da quando abbiamo sistemato documentazione e prompt le risposte sono esaustive e documentate nonostante acceda solo a titoli e snipet, oltretutto Gemini ci ha detto che è una cosa che si fa e che funziona bene.

L'unico modo per avere articoli completi è scegliere siti web di nostro gradimento, vedere se hanno API e usarle. Ma questo al massimo diventa un enhancement per un altro issue secondo me. Questo lo possiamo chiudere.

A quanto pare non è un bug in senso stretto. DDGS funziona recuperando uno snippet dai siti web poiché lo scraping totale della pagina non è consentito. Bisognerebbe implementare uno scraper che però a seconda del sito potrebbe essere bloccato e in ogni caso per ogni articolo bisognerebbe fare una richiesta HTTP, quindi se gli articoli finiscono per essere una decina per ciclo potrebbe diventare molto lento. Poi da quando abbiamo sistemato documentazione e prompt le risposte sono esaustive e documentate nonostante acceda solo a titoli e snipet, oltretutto Gemini ci ha detto che è una cosa che si fa e che funziona bene. L'unico modo per avere articoli completi è scegliere siti web di nostro gradimento, vedere se hanno API e usarle. Ma questo al massimo diventa un enhancement per un altro issue secondo me. Questo lo possiamo chiudere.

Simo93-rgb commented

2025-10-29 18:00:20 +01:00

(Migrated from github.com)

PS: hai una commit che ha delle modifiche per essere aggiornato al main con i nuovi prompt etc. Il promt del team leader è aggiornato per poter usare il tool dei simboli.

Berack closed this issue

2026-01-18 12:50:49 +01:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Berack/upo-app-agents#38