Дорвеи Парсинг текста под Пандору

[Amiramus]

И снова привет всем.
Как лучше парсить тексты под дорген Пандора: в один файл или раскидать по разным файлам (каждый тхт с текстами релевантными каждому конкретному ключу?
Или в принципе пофиг?

 

[AlisaK]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

 

[Amiramus]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

X-parser
Спасибо за ответ.
А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

 

[os]

Независимая физическая крипто-карта при партнерстве Pirate Cards!

Вашему вниманию новая крипто-карта для вашей безопасной работы, жизни и снятия наличных денег. Данная карта никак не связана с сервисом Pirate Cards. Мы не видим, что вы оплачиваете и ответственность за свои деньги и действия несете только вы.

Мы предоставляем вам аккаунт с пройденной верификацией к надежному сервису, где вы можете заказать физическую карту со своими данными. Вам не нужно проходить никаких верификаций, уже все пройдено. Достаточно выпустить карту и ей можно пользоваться. Сразу. Вы можете выпустить виртуальную карту и заказать физическую с доставкой. Пока ваша карта изготавливается, есть возможность добавить карту для оплаты смартфоном.

На карту можно получать деньги в USD через Visa Direct с любого иностранного банка, где есть переводы на иностранные карты. Единственное, эти деньги вы не сможете перевести в криптовалюту, но сможете потратить или снять. Карту можно привязать куда угодно (за исключением РФ сервисов).

ПОДРОБНЕЕ

 

[rippptop]

Или чем больше тем лучше

текстовки очень много нужно! но тематической!

 

[AlisaK]

А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

вообще ваш первоначальный вопрос был в том что один текстовик на один какой то ключ, а теперь почему то вы решили по одному ключу парсить нн-ое количество статей. это вот и не то к чему надо стремиться, я делаю парсинг скрапбоксом там по умолчанию каждый ключ - свой текстовый файл и всё, пусть там нет логической последовательности, но это же вы делаете под доры и при генерации пандорой вновь будет задействован рандом, так что в итоге лишние манипуляции и не более

 

[AlisaK]

текстовки очень много нужно! но тематической!

сейчас в основном в кулуарах обсуждают не парсинг контента, а его генерацию при помощи тех же нейронных сетей