Импорт RSS лент
Хотел бы представить новый модуль. Import Rss (Импорт Rss).
По сути аналог как на Хабре
Модуль умеет обновлять RSS ленты и добавлять посты в LS движек.
Обновляет ленты по таймеру, который можно задать отдельно для каждой RSS ленты.
Топики с ленты добавляются при каждом заходе пользователя, по типу refresh (F5).
В системе создаётся пользователь ImportRss и от его имени добавляются топики.
TODO:
— В будущем возможно поведение добавления поменяется. Например одна RSS лента — это один отдельный блог, куда и будут добавляться топики.
— Возможно добавлять топики не только от имени пользователя Import Rss но так же и от имени Admin или любого другого пользователя который указан в Rss ленте, как автор.
— Добавить возможность чтобы модуль можно было писал в определенный блог. Выбирать на стадии добавления RSS ленты. (вынести это из личных блогов и поставить в отдельный RSS-блог)
— сделать только для авторизованных
Жду ваших комментариев и предложений.
Да, чуть не забыл, вот ссылка на модуль:
UPD:
Всё. Модуль прошел модерацию. Милости прошу, пробуйте господа! =)
Можно ещё пробовать загрузить по прямой ссылке,
Типа баг нашел в скачке не промодерированых модулей! :-p ortу привет :)
UPD2:
Поступило много просьб, сделать, что бы можно было добавлять ленту в определенный какой то блог, а не в персональный ImportRss. Думаю это первое что сделаю в следующей версии. Остальные фичи, ещё обсуждаются.
UPD3:
Есть платный вариант модуля: (обсуждение: )
В платном варианте реализованы все пожелания, которые изъявили пользователи.
293 комментария
Наверное из-за того, что я отредактировал описание, добавил ссылку на обсуждение…
Ну сорри, друзья, я не знал, теперь ждем опять модерации :(
Я то модуль добавил и он где то часов в 12 вышел из под модерации. И тему создал, что бы пообсуждать. И тут, ну вот нужно мне было, добавил две строчки в описание модуля, мол обсуждаем там то и там то. И всё. Модуль опять ушел на модерацию а мне стали минусы лететь, мол ссылки битые и т.д. Так что я пока все это дело скрыл, как только опять модерацию пройдёт. Сразу все открою. И больше уже не буду трогать…
Что это означает?
Если нет привязки к ip.
Так как нормального крона тут все равно нету. По этому было решено реализовывать именно таким образом.
Т.е. если кто исходники уже смотрел, то видел, что запускается скрипт каждый раз когда человек заходит, но не выполняется каждый раз, а только по прошествии определенного времени, который задает сам же пользователь (админ).
Думаю в следующей версии сделаю отдельно решение для крона.
А так гугл зашел, яндекс зашел, посетители по клацали по ссылкам и там общими усилиями добавились все записи.
Так понятней стало?
Или нет?
Я то экспортирую ленту в один приход и ложу в базу, но добавляю постепенно.
Ваще я тут зря про алгоритм рассказываю. Кто хочет сам поссмотрит, другим может это ваще не нужно.
Я так понимаю, если МОДЕРАЦИЮ прошел модуль, значить с ним всё ок с кодом.
после непосредственно блока модификации в админке.
Что сильно упала верстка (которой там нету)?
Ну думаю, первая версия всегда комом.
Я ещё раз повторяю, я не какой революции не совершил. Просто с умом данный модуль юзать нужно!
А кто без ума, просто будут потом долго себя из бана у гугла и яндекса доставать, или подобное.
У меня на WordPress пару десятков отменных агрегаторов уже почти год существую и процветают :)
Пару сайтов правда вылетела один раз из индекса. Но письмо в Яндекс решило эту проблему.
Так что такой модуль ничего плохого не делает, главное с головой его использовать.
Что же касается темы, то не стоит сравнивать танк и автомобиль ока — смешно. и более, чем достаточно, чтобы поставить под сомнение необходимость создания ГС, подобных . Да и очень сомневаюсь, что авторитетные агрегаторы пользуются подобными бесплатными разработками. А подобными модулями в 99% случаев ничего кроме не делается.
Это ли не повод?
Звучит как руководство к действию :)
То что у гугла и яндекса есть свои агрегаторы, совсем не значит что их достаточно. Информация должна быть доступна и свободна. И чем больше источников тем лучше для пользователя. Исчезает монополия.
И хорошо бы все ГС были такими же как Новотека. Я то наделают школнеГи дерьма из рерайта, и называют его СДЛ. Хотя пользу от их «уникального» контента для общества нету. Плохо если вы не понимаете этого.
И про агрегаторы ув. Romelyus совершенно верно говорит. Абсолютно ни к чему плодить «десятки» клонов агрегаторов с кучей ссылок на одну и ту же отрерайченную новость. СДЛ это тоже не назовешь. Даже с натяжкой. Нет ничего хорошего для пользователя в том, что он надеясь найти что-то новое переходит по всей этой куче ссылок, а находит только рерайт. Надеюсь не нужно объяснять почему такого явления нет на авторитетных агрегаторах типа гугла и яши.
Агрегаторы подобные новотеке актуальны только для локальных сетей, где есть какой-то льготный доступ к локальным ресурсам.
Успехов.
Мне вот интересно вы притворяетесь или правда считаете, что такие агрегаторы, как новотека, выдают что-то нужное для пользователя? Верно Do3er сказал:
Поэтому-то у таких ресурсов не слабая посещаемость.
Толи ещё будет в следующих версия =)
В любом случае на выходных выложу следуюущую версию с учтенными пожеланиями.
С кроном и выбором блога. Ну а у тебя у кого нету крона, будет настройка и будет работать так как сейчас.
Думаю так будет наиболее правильно.
и подозреваю что просьбой о следующей доработке у народа будет привинчивание синонимайзера =) кодом простого могу подсобить. но с синонимайзером точно в платное надо складывать. иначе и правда сплогами на ливстрите инет завалят. хатя даже с платным завалят…
так автор может ещё чего полезного напишет. на голодный желудок програмить то не очень, по себе знаю.
Ну хорошо, что вы советуете, что следовало бы предпринять?
Завтра кто то ещё напишет модуль и выложит не на этом сайте, так на другом…
К тому же такая нездоровая популяризация привела к созданию всяческих программ автопостинга и спам-ботов, адаптированных специально под ДЛЕ.
Посоветовать могу только одно — сделать модуль платным. Пусть даже цена будет символична. Но сателит-мейкеров и сплогеров это убавит. Они выберут как раз ДЛЕ или ВП для этих целей, так как в них реализован бесплатный автоматический граббинг.
Удалять модуль, конечно же, жалко — все-таки труд и старания.
ИМХО.
Видимо придётся сделать следующую версию платной.
Ну и отлично :)
ЗЫ: Только у меня проблемы с кодировкой в поле ввода комментов?
С кодировкой у меня лично проблем нет.
Как то даже не знаю куда смотреть %)
Может быть какие то ошибки показываются?
Ссылку на RSS тоже не помешало бы.
Ошибок ноль. В error.log так же ничего. Несколько раз сносил, снова ставил… результат один. Все проходит, но пользователя нет. Возможно, какой-то конфликт с другим модом, но это на уровне гадания
Вы тестируете локально?
Если да, по пробуйте просто открыть данный RSS в браузере.
Есть подозрение, что ваш сайт или айпи или ещё чего то, просто заблокированы на баше :) глупо конечно. Но теоретически возможно.
По пробуйте ради эксперимента другой RSS отличный от текущего.
По пробуйте, если есть возможность локально поставить модуль.
У меня локально отработал хорошо данный RSS.
Какие там моды или хаки у Вас стоят? (опять же, если не секрет)
Ну в таком случае, если локально тестируете, по пробуйте на голый LS посставить, и постепенно накручивать на него ваши моды, хаки…
Пока больше ничем помочь не могу, ибо не владею всей информацией.
Давайте я попробую сам создать такого пользователя. Скажите плз его параметры, или укажите файл в коде которого он создается.
Если пользователь не создался. Вероятно не правильно что то установили.
Хотя там нужно было просто скопировать. Проверьте что бы файлы были в том регистре в котором они в архиве.
Можно по пробовать создать пользователя с логином ImportRss без всяких параметров, скрипт сам все нужное добавить.
А вот «что бы файлы были в том регистре в котором они в архиве» не совсем корректно.
должен быть
иначе выдается ошибка при обращении :)
ужене умеет читать?что это было?
делать платную версию или продолжать так твое дело, скорее желание заработать или нежелание =) от сплогеров лс это уже не спасет. ссылку теперь уже не достать но вчера в гостях сидя нарыл сайт на лс полный сплог… грабинг новостей с ленты. причем походу грабинг идет черех яхутрубы так как новость граблена целиком вместе с картинкой. вперемешку с новостями с других проектов. ну либо чел сел и сам написал не только парсер рсс но и парсер хтмл докучи… и народ так активно новости сидит обсуждает… хз может хазяин ещё и ботов коментаторов написал…
В качестве пашутить — *Вот точно =) давайте терь ботов коментаторов напишем =) и ботов точно в платное =) за много денег =)*
Можешь даты сравнить. Т.е. на первый вопрос ответ такой: я просто решил написать его! А тут ты нарисовалсо :)
Следующая версия скорей всего будет за символическую плату… предложите сами сколько кто считает нужным.
Я так понимаю в промежутке между 100 и 300 рублями… всё таки хотел от публики услышать цифры.
Этим я не хочу обогатиться, а больше удовлетворить потребность «возмущенных» пользователей.
Мол дал бомбу в руки обезьянам :-D
Я вот к ГС не отношусь, а в итоге получается платить придется «именно из-за них».
=)
Не нужно паники. Все элементарно просто. Сейчас расскажу.
Достаточно удалить файлы которые были записаны когда инсталлировался модуль.
Достаточно удалить каталог classes\modules\importrss\ или все его содержимое.
Могу рассказать, что случилось, когда вы удалили все RSS ленты.
Когда импортировались RSS ленты то топики с этих лент не добавлялись на сайт скопом, а просто по одному не спеша добавлялись. Так как модуль не был удалён, он продолжал добавлять те топики, который уже были импортированы до этого. Этот процесс закончился бы, как только они бы закончились. И так как не было бы новых RSS лент, то на сайте действительно перестали бы добавлять новые топики.
Опять же по поводу удаления пользователя, модуль то продолжает работать. Видит, что нет пользователя от чьего имени нужно создавать топики и создаёт.
Надеюсь ответил на все вопросы :) Удалите каталог с модулем. (так все модули удаляются, что бы знали)
А что в Вашем понимании нормальный релиз, я бы ещё ваше мнение хотел по слушать!
Или Вам достаточно того функционала который написали в комментария выше?
Чего именно Вам не хватило в данном модуле?
выбор способа обновления ленты либо как сейчас либо через cron;
возможность сохранять материал в черновиках для редакции перед публикацией;
возможность постить от любого имени;
возможность постить в определенный блог.
реализовано
реализовано
довольно опасная штука… как по мне, могу в платную версию добавить
реализовано
все равно на какую страницу
сделал максмально просто для конечного пользователя
Шаблон не стандартный, но пробовал со стандартным все также =( вроде все верно кинул по папкам.
Дело в том что шаблон у меня написал в нижнем регистре, а нужно в «верблюжем».
rssadd.tpl переименовать в RssAdd.tpl
Я уже в новой версии исправлю подобные глюки.
А как его остановить О_О он уже 50 опубликовал блогов
Просто удали папку importrss (таким образом можно любой модуль удалить)
Удалить и добавить заново с уже исправленными полями :)
Или в базе ручками :)
Нужно добавить редактирование?
А если и понадобится то уже лишний раз скажем разработчику.
… да и плюс ещё совершенно случайно я там ошибку допустил. :-p
Вполне мирное легальное решение по моему.
Вот хлопец тут дело предлагает)) Нам бы такое для странички новостей;)
Остается только ждать :( не буду больше кормить завтраками, как только — так сразу!
Семья, дети, работа… за всем не успеешь, приоритеты разные :-D
1024 символа частенько не работает, обычно, это 255 символов
Переименовал шаблон rssadd.tpl в RssAdd.tpl и все заработало
Вот пример
и еще поддомен типа yandex.livestreet.ru — новости от Яндекс
Но мне допустим нужно такое расширение для мирного применения.
Fatal error: Call to undefined function mb_convert_encoding() in Z:\home\test1.ru\www\classes\modules\importrss\mapper\ImportRss.mapper.class.php on line 245
Наверное нужно будет учесть в новых версиях, что бы можно было бы без него.
Хотя как без него, если кругом UTF8
на сколько удалось выяснить, это связано с работой lib_xml
на том же хостинге поставил библиотеки magpie,lastrss — символы теряются. поставил simplepie — все нормально.
урл сайта могу скинуть в личку автору importrss
p.s. возможно, автору importrss надо пересмотреть обработку rss, чтобы на любом хостинге работало.
спасибо.
вот тут вы выбираем личный блог юзера.
как выбрать просто блог по id?
чтото типо: хочеться применить, ещё не попробывал ибо засыпаю =)
думаю Вист ты уже понял что я мудрю =)) остальные части того что ты понял готовы =) готов поделиться буду как протестирую и дополирую.
Удачи! =)
Будешь выкладывать, просто с ссылкой на меня.
Вобщем грабилка теперь умеет спрашивать какую рсску в какой блог постить. умеет постить в заданный блог =)
можно несколько рсс на один блог вешать, можно много рсс на много блогов.
Переделал топики с топиксыылки на просто топик.
Думаю нужно ли постить от разных юзеров каждую рсску? люди это к вам вопрос.
PS Вист стучи в личку есть разговор.
читайте ответ —
что сами просили то я и прикручиваю.
Во-вторых, я не просил.
В-третьих, не важно даже что он будет платным — такой функционал изначально нужен только для, извините, идиотов, которые только и могут воровать контент и автоматом рерайтить(притом, что тексты зачастую нечитабельны при перестановке предложений и синонимайзинге), исключительно чтобы гадить (и авторам контента и вообще поисковую выдачу — копеечный заработок на сапе конечно да, это круто), вместо того, чтобы заняться действительно хорошим проектом. Одобрять такой модуль мне, и я думаю, большинству адекватных людей не кажется правильным.
2. я знаю достаточное количество хороших годных сайтов занимающихся сведением новостей с разных ресурсов в одну стопку официально с бек линками и тп. без банов яндекса и прочего ибо все сделано правильно и в белую.
3. Я незнаю сколько приносит сама с ГС у меня есть белый проект с рукописными новостями (местами рукописный рерайт) проект я делал сам в 2001 году, там даже двигло рукописное. приносит 10-12к с сапы в месяц я вполне счастлив.
4. Я нивкоей мере не поддерживаю строительство сателитов и прочих ГС.
5. Это дело начал вист и модуль я считаю такой полезным если его правильно использовать, я переделал половину того что было и дописал доконца как оно я считаю должно быть. Недолелал бы я доделали бы другие (и веть доделали давно ибо сплоги на ЛС я видел уже)
И в последних, как и многие хаки и модули воспринимайте это как пример того что можно сделать на ЛС =) Вы же тоже чтото писали и выкладывали =)
А с другой стороны если посмотреть… Так или иначе те сайты, которые не нужны все равно умрут — и выживут сильнейшие… Естесственный отбор вроде как, так или иначе если он не создаст этот модуль — создаст другой…
Мне лично требуется эта штука для максимально мирных целей.
внимательнее =) уникализации полученого из рсс я делать и не собираюсь. Я тоже слишком люблю ЛС чтоб такое сделать.
Тогда либо вас плохо поняли, или вы поменяли свою тз. Из первой цитаты не я один сделал практически однозначные по логике выводы.
В нем есть предположение, что план такой существует.
Чтобы небыло недопонимания опишу ещё раз что на данный момент умеет делать парсер рсс.
1. парсить рсс =)
2. возможно задавать более одного рсс потока
3. у каждого потока есть три поля для заполнения
3.1 урл потока
3.2 частота обновления
3.3 блог в который постим
???3.3 имя пользователя от которого постим??? (возможно сделаю если оно надо)
4. постинг идет в виде топика, а не ввиде ссылки как есть в том что вы качали и смотрели
5. что ещё нужно? (рассматриваю предложения дабы не плодить релизы каждый день потом)
Как я писал уже выше, мне бы пригодилось.
Еще бы хотелось, чтобы новости выводились сразу без всяких задержек. Но при этом начальные записи как-то возможно отсеять надо, так как они уже не являются новыми давно (допустим их публиковали месяц назад и люди об этом знают). Возможно для этого стоит сделать какую-то настройку даты, с которой записи можно публиковать.
Вот тогда для белого проекта получится отличная штука :-)
Сделал — дата поститься в ЛС с той датой с которой она опубликована в РСС (тоесть за какое число новость в рсс, за такое и опубликована в ЛС, пожем поискать рсс с новостями за год, получим топики за год =) )
кстати пока все молчат но несовсем понятно что делать с тегами у постов, пока они просто не заполняються…
Представим картину. Я добавляю канал с важными новостями, а они начинают поститься постепенно. Сначала новость которая была месяц назад, потом 3 недели назад и так до последней записи. Пользователи просто не поймут что за ерунда происходит.
Надо старые новости отсекать полностью. И новые постить сразу, как только они появились, а не растягивать удовольствие.
тоесть если ваш юзер в состоянии узреть что раньше между 25 и 30 числом прошлого месяца небыло топиков а теперь есть то тогда канешно =) но численность таких юзеров стремится к нулю.
Что-то я и не подумал, что они могут просто тихонько перекочевать в свой блог и особо глаза не мозолить при этом.
Возможно ли сделать опцию, чтобы новости не выводились сразу, а добавлялись в черновики?
С возможностью выбора в настройках ленты: Публиковать RSS/Сохранять в черновиках.
Возможность брать картинки и сохранять у себя вставляя в пост
У меня пайпы не запускаются, но я не уверен что проблема в модуле…
Заявленный функционал:
опишу ещё раз что на данный момент умеет делать парсер рсс.
1. парсить рсс =)
2. возможно задавать более одного рсс потока
3. у каждого потока есть три поля для заполнения
3.1 урл потока
3.2 частота обновления
3.3 блог в который постим
3.4 имя пользователя от которого постим??? (возможно сделаю если оно надо)
4. постинг идет в виде топика, а не ввиде ссылки как есть в том что вы качали и смотрели
5. запуск по крону
6. работает с яху пайпс и други рсс со стандартными полями
7. дизайн админской части приведён в надлежащее состояние
Оно надо!!!
правильно так — 3.4 имя пользователя от которого постим! (сделано)
Поверьте, этот модуль уже через пару месяцев появится на nulled.** где его успешно купят вскладчину.
далее появится куча сателлитов.
далее капец!
Как бы этого не хотелось…
ничего не затихло, всё вобщем то готово. работа отняла немного времени просто =)
дотестируем и выкладываем.
Или удалить из таблицы в БД посты, которые ещё не успели добавиться. Они сохраняются в бд и ждут своей очереди.
Алгоритм:
Загрузили RSS, скрипт прочитал и добавил все посты во временную таблицу.
Потом при каждом заходе на страницу (например главную) добавляется из временной папки в обычный пост.
Когда вы удаляете RSS то во временной таблице посты остаются и добавляются позже.
Заранее спасибо.
По поводу Ну собственно их и сейчас уже можно наделать имеющимся модулем… Но капец пока так и не наступил. И поверте итак есть масса готовых решений в свободном доступе…
Ну вот и зачем такое надо было говорить? Если вы передумали продавать сей модуль — честно и скажите людям так мол и так, принято такое то решение. Жаль что все заглохло, я бы например купил и дороже чем предполагалось, придется пользоваться тем что есть:(
Обсуждение платной версии тут —
PS Простите что долго. угодил в больницу, немог доделать.
Зашёл админом по адресу
site/importrss/
Появилось вот такое сообщение об ошибке.
Как вылечить?
Автор вернулся хотя и больше года не мог вам ничем помочь. в пятом топике прошу у всех прощения, так сложилось.
Бесплатная версия «Импорта Рсс» и «Записки Админа + Блок» будет в ближайшие дни.
Готов купить, если чо.
Легче заказать или немного помудрить с плагином.
давайте коллективно собираться на новый модуль
давайте коллективно собираться на новый модуль
вы написали «а минус тогда зачем получили?», т.е. по вашему «мнению» мне пришло уведомление вам поставлен «минус», подтвердите пожалуйста, и я подтвердил?
да и раздвоение личности похоже, в прощлый раз она была маЛчиком, а перед ним снова девочкой… пора уже добавить в выбор пола trans
ты меня оскорбил 1,2,3 раз, потом создал мульта, и снова за старое, потом создал снова мульта и снова обратился за помощью. При чем я тебя не послал… помощь я тебе оказал, предварительно уточнив в чем ошибка, а вот обещаного так и не получил.
в каком месте сдесь написано что нужно сделать плагин, или сделать вывод RSS именно НАСАЙТЕ, или может тут написано что тольк после того как RSS заработает на твоем ты оплатишь 20$?
я вижу сдесь описание что есть готовое RSS, что у тебя вместо ленты вылазит ошибка, и что при помощи релизовать ее вывод, соответственно избавится от ошибки — ты обящаешь… $$$.
твои столова были что ошибки больше нет? или мои?
ну а раз твои — значит будь добр отвечай за сказаное.
то что RSS выводится в ненужной кодировке — обращайся к источнику.
НО как оказалось…
ктото как
был умнее всех, так и останетсяпочему — все по тому же
охуелили вы сударыня требовать к себе нормального отношения?