Xefir/PyNyaaTa
Archived
1
0
Fork 0
Code Issues 2 Pull Requests Actions Packages Projects Releases Wiki Activity

Torrents cachés sur Nyaa, français et catégorie comme option #6

New Issue
Open
opened 2021-02-22 20:05:50 +00:00 by gtob · 4 comments
gtob commented 2021-02-22 20:05:50 +00:00
Copy Link

Bonjour,

Je suis intéressé par PyNyaata et j'ai exprérimenté avec car il a apparemment la capabilité de chercher les torrents cachés de Nyaa (cf ce commit : 73a3a62829).

Néanmoins pour pouvoir tester la fonction et voir que ça marchait bien, comme je ne connais à l'heure actuelle que quelques torrents cachés sur Nyaa pour tester, et qu'ils ne sont pas en français (ceux-ci par exemple* : https://nyaa.si/view/867319, https://nyaa.si/view/922454), j'ai dû effectuer une petite modification dans le code, à savoir :

  • dans nyaa.py, ligne 20 j'ai ça:
# to_query = '(%s vf)|(%s vostfr)|(%s multi)|(%s french)' % (self.query, self.query, self.query, self.query)
# return '%s/?f=0&c=1_3&s=%s&o=desc&q=%s&p=%s' % (self.base_url, sort_type, to_query, self.page)
return '%s/?f=0&c=0_0&s=%s&o=desc&q=%s&p=%s' % (self.base_url, sort_type, self.query, self.page)

En gros j'enlève les vf etc. et je mets la catégorie à 0_0 pour chercher partout.

Jusque là mes modifs (que je fais en direct dans le container Docker via vi) fonctionnent, j'obtiens bien des résultats multilingues (et pas qu'en français) et dans toutes les catégories.
Mais je ne trouve pas les fichiers que je mentionnais! Par exemple, après cette petite modif, il suffit de taper 'scribbles' dans le moteur de recherche de PyNyaata, et ça ne retourne aucun résultat, alors que ça devrait, si j'ai bien compris.

C'est là que je m'aperçois que je ne comprends pas comment le fichier get404.py est appelé en fait (car il me semble c'est lui qui gère les torrents cachés en repérant la balise darkgray dans l'HTML reçu). Ne fonctionne-t-il que sur la version de PyNyaata hébergé sur ton serveur? D'ailleurs j'ai aussi testé d'installer PyNyaata via pip, et ce fichier get404.py n'apparaît pas dans C:\ProgramData\Anaconda3\Lib\site-packages\pynyaata...alors que les autres .py y sont.

En fait si je connaissais des torrents cachés sur Nyaa en français je pourrais tester plus facilement sur ton serveur et sur la version de base installée chez moi pour voir si ça marche, ce qui aiderait déjà, mais je n'en connais malheureusement pas.

Néanmoins, et c'est mon deuxième point ci dessous, les modifications que j'ai effectuées me sont nécéssaires pour mon but final qui est de pouvoir rechercher dans toutes les catégories, en multilingue, et voir les torrents cachés, tout ça dans une requête.

Du coup j'ai deux questions plus précisément :

  1. Que faudrait-il que je fasse comme modif en plus pour faire ressortir ces torrents cachés?
  2. Si c'est possible, serait-il possible d'avoir un mode ou l'on désactive le français, et de passer la recherche en catégorie 0_0 au lieu de 1_3?
    J'ai vu qu'un de tes derniers commits est de mettre en vf par défaut, donc je ne sais pas si ça t'intéresse de faire ça, mais comme je n'arrive pas à voir si c'est beaucoup de travail, je préfère demander, car ça serait une fonctionnalité sympa en plus. (J'ai essayé d'installer la version d'avant ce commit là, mais ça n'avait pas l'air de changer grand chose pour ce qui est des résultats non en français, donc j'ai abandonné).

Enfin merci pour tout le travail effectué et d'avoir rendu PyNyaata public, c'est un super outil. Dis moi aussi si tu préfères que j'écrive en anglais, comme je suis le premier à ouvrir une issue, je me suis permis le français.

* Accessibles en cherchant "site:nyaa.si scribbles" sur Google (en fait je pense que tous les torrents cachés de Nyaa sont acesssbles via Google mais j'aimerais bien les avoir dans une recherche globale, d'où mon intérêt pour PyNyaata)

Bonjour, Je suis intéressé par PyNyaata et j'ai exprérimenté avec car il a apparemment la capabilité de chercher les torrents cachés de Nyaa (cf ce commit : https://git.crystalyx.net/Xefir/PyNyaaTa/commit/73a3a628290750d84d037ebdc58bd2a0f62d0dbd). Néanmoins pour pouvoir tester la fonction et voir que ça marchait bien, comme je ne connais à l'heure actuelle que quelques torrents cachés sur Nyaa pour tester, et qu'ils ne sont pas en français (ceux-ci par exemple\* : https://nyaa.si/view/867319, https://nyaa.si/view/922454), j'ai dû effectuer une petite modification dans le code, à savoir : * dans *nyaa.py*, ligne 20 j'ai ça: ``` # to_query = '(%s vf)|(%s vostfr)|(%s multi)|(%s french)' % (self.query, self.query, self.query, self.query) # return '%s/?f=0&c=1_3&s=%s&o=desc&q=%s&p=%s' % (self.base_url, sort_type, to_query, self.page) return '%s/?f=0&c=0_0&s=%s&o=desc&q=%s&p=%s' % (self.base_url, sort_type, self.query, self.page) ``` En gros j'enlève les `vf` etc. et je mets la catégorie à `0_0` pour chercher partout. Jusque là mes modifs (que je fais en direct dans le container Docker via `vi`) fonctionnent, j'obtiens bien des résultats multilingues (et pas qu'en français) et dans toutes les catégories. Mais je ne trouve pas les fichiers que je mentionnais! Par exemple, après cette petite modif, il suffit de taper 'scribbles' dans le moteur de recherche de PyNyaata, et ça ne retourne aucun résultat, alors que ça devrait, si j'ai bien compris. C'est là que je m'aperçois que je ne comprends pas comment le fichier `get404.py` est appelé en fait (car il me semble c'est lui qui gère les torrents cachés en repérant la balise `darkgray` dans l'HTML reçu). Ne fonctionne-t-il que sur la version de PyNyaata hébergé sur ton serveur? D'ailleurs j'ai aussi testé d'installer PyNyaata via `pip`, et ce fichier `get404.py` n'apparaît pas dans `C:\ProgramData\Anaconda3\Lib\site-packages\pynyaata`...alors que les autres `.py` y sont. En fait si je connaissais des torrents cachés sur Nyaa en français je pourrais tester plus facilement sur ton serveur et sur la version de base installée chez moi pour voir si ça marche, ce qui aiderait déjà, mais je n'en connais malheureusement pas. Néanmoins, et c'est mon deuxième point ci dessous, les modifications que j'ai effectuées me sont nécéssaires pour mon but final qui est de pouvoir rechercher dans toutes les catégories, en multilingue, et voir les torrents cachés, tout ça dans une requête. Du coup j'ai deux questions plus précisément : 1. Que faudrait-il que je fasse comme modif en plus pour faire ressortir ces torrents cachés? 2. Si c'est possible, serait-il possible d'avoir un mode ou l'on désactive le français, et de passer la recherche en catégorie `0_0` au lieu de `1_3`? J'ai vu qu'un de tes derniers commits est de mettre en vf par défaut, donc je ne sais pas si ça t'intéresse de faire ça, mais comme je n'arrive pas à voir si c'est beaucoup de travail, je préfère demander, car ça serait une fonctionnalité sympa en plus. (J'ai essayé d'installer la version d'avant ce commit là, mais ça n'avait pas l'air de changer grand chose pour ce qui est des résultats non en français, donc j'ai abandonné). Enfin merci pour tout le travail effectué et d'avoir rendu PyNyaata public, c'est un super outil. Dis moi aussi si tu préfères que j'écrive en anglais, comme je suis le premier à ouvrir une issue, je me suis permis le français. \* Accessibles en cherchant "site:nyaa.si scribbles" sur Google (en fait je pense que tous les torrents cachés de Nyaa sont acesssbles via Google mais j'aimerais bien les avoir dans une recherche globale, d'où mon intérêt pour PyNyaata)
Xefir commented 2021-02-23 09:54:57 +00:00
Owner
Copy Link

Bonjour

Avant tout, merci beaucoup pour ce long message qui t'as surement pris pas mal de temps à rédiger ^^ (et aucun problème pour le français au contraire xD)

Malheureusement, pour ce que tu souhaites faire, PyNyaaTa ne va pas pouvoir t'aider.
En effet, le titre du commit n'est pas vraiment explicite et le fonctionnement du get404.py non plus.

En gros, tel une carte, PyNyaaTa a deux faces, une face visible qui est le moteur de recherche et la face cachée qui est accessible avec l'URL /admin (login par défaut "admin" et pass "secret").

Il permet d'entrer à la main les torrents que tu possède pour que si quelqu'un fait une recherche sur le moteur, il soit colorisé en couleur comme si c'était un torrent de confiance.
Cela permet de mettre encore plus en avant les torrents dont tu es sur d'avoir au moins un seeder (à savoir toi-même :P).

Le get404.py est pour le coup un truc que j'ai fait pour moi et qui scan cette base de données afin de voir s'il n'y a pas de lien mort ou de lien qui ont été mis en caché.
Il ne va donc pas chercher les liens cachés de Nyaa, mais plutôt vérifie que les liens qui sont dans la base de données sont toujours en ligne et visible.

Le fait qu'il ne soit pas sur le package sur Pypi est étonnant par contre, je regarderais ça à l'occasion, merci pour le signalement :)

Pour ce qui est de la VF, elle est ajouté dans les filtres, mais les résultats en VOSTFR resortent toujours.
Ce que tu souhaites serait d'avoir un filtre uniquement VOSTFR ?

Ce ne serait pas un gros développement et si cela peux servir à quelqu'un, ça me dérangerais pas de coder ça.

La seule chose qui m'intrige est le choix de la catégorie, pourquoi mettre 0_0 ?
Chercher partout me ressort souvent des résultats trompeur de teams qui mettent VF, FR, ou Multi sur des choses qui ne le sont pas du tout :/

J'attends ton retour et je réfléchi à un truc cool cool pour ça :)

Salut o/

Bonjour Avant tout, merci beaucoup pour ce long message qui t'as surement pris pas mal de temps à rédiger ^^ (et aucun problème pour le français au contraire xD) Malheureusement, pour ce que tu souhaites faire, PyNyaaTa ne va pas pouvoir t'aider. En effet, le titre du commit n'est pas vraiment explicite et le fonctionnement du get404.py non plus. En gros, tel une carte, PyNyaaTa a deux faces, une face visible qui est le moteur de recherche et la face cachée qui est accessible avec l'URL /admin (login par défaut "admin" et pass "secret"). Il permet d'entrer à la main les torrents que tu possède pour que si quelqu'un fait une recherche sur le moteur, il soit colorisé en couleur comme si c'était un torrent de confiance. Cela permet de mettre encore plus en avant les torrents dont tu es sur d'avoir au moins un seeder (à savoir toi-même :P). Le get404.py est pour le coup un truc que j'ai fait pour moi et qui scan cette base de données afin de voir s'il n'y a pas de lien mort ou de lien qui ont été mis en caché. Il ne va donc pas chercher les liens cachés de Nyaa, mais plutôt vérifie que les liens qui sont dans la base de données sont toujours en ligne et visible. Le fait qu'il ne soit pas sur le package sur Pypi est étonnant par contre, je regarderais ça à l'occasion, merci pour le signalement :) Pour ce qui est de la VF, elle est ajouté dans les filtres, mais les résultats en VOSTFR resortent toujours. Ce que tu souhaites serait d'avoir un filtre uniquement VOSTFR ? Ce ne serait pas un gros développement et si cela peux servir à quelqu'un, ça me dérangerais pas de coder ça. La seule chose qui m'intrige est le choix de la catégorie, pourquoi mettre 0_0 ? Chercher partout me ressort souvent des résultats trompeur de teams qui mettent VF, FR, ou Multi sur des choses qui ne le sont pas du tout :/ J'attends ton retour et je réfléchi à un truc cool cool pour ça :) Salut o/
gtob commented 2021-02-23 22:37:44 +00:00
Author
Copy Link

Merci de la réponse :)

  1. Si je comprends bien, j'avais mal compris, et à l'heure actuelle PyNyaata ne peut pas chercher les torrents cachés de Nyaa, c'est ça?
    Car avec la recherche de darkgray le corps du HTML qui n'est présent que dans ces torrents cachés de Nyaa (si tu prends un des deux que j'avais mis en lien tu verras, et aussi cf l'aide de Nyaa: https://nyaa.si/help), je me disais que ça devait être ça!
    .
    Du coup effectivement c'est une des fontionnalités qui m'intéressait :)
    Mais je me demandais vraiment comment ça fonctionnait, parce que les seuls trucs que j'ai trouvé à ce sujet c'est des anciens scripts GreaseMonkey pour le défunt nyaa.se et le frauduleux nyaa.eu (https://greasyfork.org/en/scripts/16927-show-hidden-torrents-from-nyaa-se/code et https://gist.github.com/WhiteAls/5124089) que je ne comprends pas bien comme je ne maîtrise pas le JS. Mais de loin ça n'a effectivement rien à voir avec chercher darkgray !
    En tout cas si ça t'intéresse (comme ça a l'air possible) et que tu as une idée à ce sujet je suis preneur :D (Ne serait-ce pas intéressant d'accéder à ces torrents cachés?)

  2. Autrement pour la VF, en fait j'aimerais avoir un option pour l'enlever plutôt (!), et chercher sur toutes les catégories en même temps du coup via ce 0_0. Ce qui permettrait à PyNyaata d'être un agrégateur de recherches pour plusieurs sites d'un coup :) Car je ne me limite pas à la VF en général, et du coup PyNyaata me bride pour l'instant. C'est la même chose pour les catégories, d'où mon souhait de pouvoir avoir une option pour l'étendre :)

  3. C'est moins important pour moi du coup, mais au sujet du get404.py j'ai quand même essayé d'accéder à la partie secrète de PyNyaata que tu mentionnes en tapant localhost:5000/admin mais ça me renvoie une erreur 404, c'est normal?

Merci de la réponse :) 1. Si je comprends bien, j'avais mal compris, et à l'heure actuelle PyNyaata ne peut pas chercher les torrents cachés de Nyaa, c'est ça? Car avec la recherche de `darkgray` le corps du HTML qui n'est présent que dans ces torrents cachés de Nyaa (si tu prends un des deux que j'avais mis en lien tu verras, et aussi cf l'aide de Nyaa: https://nyaa.si/help), je me disais que ça devait être ça! . Du coup effectivement c'est une des fontionnalités qui m'intéressait :) Mais je me demandais vraiment comment ça fonctionnait, parce que les seuls trucs que j'ai trouvé à ce sujet c'est des anciens scripts GreaseMonkey pour le défunt `nyaa.se` et le frauduleux `nyaa.eu` (https://greasyfork.org/en/scripts/16927-show-hidden-torrents-from-nyaa-se/code et https://gist.github.com/WhiteAls/5124089) que je ne comprends pas bien comme je ne maîtrise pas le JS. Mais de loin ça n'a effectivement rien à voir avec chercher `darkgray` ! En tout cas si ça t'intéresse (comme ça a l'air possible) et que tu as une idée à ce sujet je suis preneur :D (Ne serait-ce pas intéressant d'accéder à ces torrents cachés?) 2. Autrement pour la VF, en fait j'aimerais avoir un option **pour l'enlever plutôt** (!), et **chercher sur toutes les catégories en même temps du coup** via ce `0_0`. Ce qui permettrait à PyNyaata d'être un agrégateur de recherches pour plusieurs sites d'un coup :) Car je ne me limite pas à la VF en général, et du coup PyNyaata me bride pour l'instant. C'est la même chose pour les catégories, d'où mon souhait de pouvoir avoir une option pour l'étendre :) 3. C'est moins important pour moi du coup, mais au sujet du `get404.py` j'ai quand même essayé d'accéder à la partie secrète de PyNyaata que tu mentionnes en tapant `localhost:5000/admin` mais ça me renvoie une erreur 404, c'est normal?
Xefir commented 2021-02-24 15:35:25 +00:00
Owner
Copy Link
  1. Je connaissais ce hack sur Nyaa.eu, mais il a disparu sur Nyaa.si quand il y a eu le redisign du site tel qu'on le connais actuellement. J'aimerais bien pouvoir aussi accéder à ces torrent cachés, mais pour le moment, cela semble impossible et je ne vois pas comment y arriver haha (sans crawler le cache Google ou utiliser un vieux mirroir qui, du coup, n'est pas à jour).
  2. Je vois l'idée. Je ne suis pas contre l'implémenter, il faut juste que je trouve une façon de rendre ça intuitif côté interface ^^ Je regarde ça dans les jours à venir :)
  3. Ça aussi, il va falloir que je le documente un jour. Vu cette partie stoque de l'information, il faut une base de données. De ce fait, il faut avoir MySQL et remplir les bonnes variables d'environnements pour que PyNyaaTa se connecte au serveur de base de données. Une fois la connexion établie, l'URL deviens accessible.
1. Je connaissais ce hack sur Nyaa.eu, mais il a disparu sur Nyaa.si quand il y a eu le redisign du site tel qu'on le connais actuellement. J'aimerais bien pouvoir aussi accéder à ces torrent cachés, mais pour le moment, cela semble impossible et je ne vois pas comment y arriver haha (sans crawler le cache Google ou utiliser un vieux mirroir qui, du coup, n'est pas à jour). 2. Je vois l'idée. Je ne suis pas contre l'implémenter, il faut juste que je trouve une façon de rendre ça intuitif côté interface ^^ Je regarde ça dans les jours à venir :) 3. Ça aussi, il va falloir que je le documente un jour. Vu cette partie stoque de l'information, il faut une base de données. De ce fait, il faut avoir MySQL et remplir les bonnes variables d'environnements pour que PyNyaaTa se connecte au serveur de base de données. Une fois la connexion établie, l'URL deviens accessible.
gtob commented 2021-02-28 23:49:23 +00:00
Author
Copy Link

  1. Je vois, tant pis donc :)

  2. Super, j'attends avezc impatience alors, si je peux te donner plus d'éléments n'hésite pas!

  3. D'accord, effectivement je n'avais pas pensé à ce qu'il faille une BDD, mais ça paraît logique après coup. Prends ton temps.

1. Je vois, tant pis donc :) 2. Super, j'attends avezc impatience alors, si je peux te donner plus d'éléments n'hésite pas! 3. D'accord, effectivement je n'avais pas pensé à ce qu'il faille une BDD, mais ça paraît logique après coup. Prends ton temps.
Xefir changed title from Torrents cachés sur Nyaa, français et catégorie comme option to Torrents cachés sur Nyaa, français et catégorie comme option 2022-10-16 10:53:10 +00:00
This repo is archived. You cannot comment on issues.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
No items
No Label
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: Xefir/PyNyaaTa#6
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?