pyspark读取mongodb需要的配置及注意事项

作者:yihaomen 日期:2020-01-05

MongodDB中的数据量太多了，打算将数据从Mongodb中被分到HDFS中，按平常的处理方法，至少是可以通过pymongo读取mongodb中的数据，然后把这些数据转成pandas dataframe 或者 spark dataframe，然后再写入HDFS的，但今天尝试了下直接通过spark连接MongoDB的处理方式。这里需要mongo-spark-connect，这是第三方插件提供的，所以需要经过如下配置才可以实现

Tags: pyspark pyspark mongodb mongodb

分类:Python/Django | 固定链接 | 评论: 1 | 引用: 0 | 查看次数: 90

yybi.com在易名拍卖，在此做个广告

作者:yihaomen 日期:2019-11-23

yybi.com 我放到易名去拍卖了，不知道能拍个什么价格出来。现在区块链比较火，币圈也跟着沾光。
YY : 就不用多解释了，国内大名鼎鼎的互联网公司。无论是直播还是社交都是一流的。
BI: 币的拼音

当YY遇上BI的时候，就可以组合出YY公司的区块链，币圈，因此YYBI, 也可以当做硬币, 不解释了，有需要的朋友可以去易名上拍卖,

Tags: 域名域名

分类:My Didary | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 77

获取java对象地址的一个工具类

作者:yihaomen 日期:2019-10-25

一个获取java对象地址的工具类

分类:Java | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 82

收藏一个java操作HDFS的工具类，比较简单

作者:yihaomen 日期:2019-10-24

收藏一个java操作HDFS的工具类，比较简单, 偶尔应急的时候，拿出来参考下。

Tags: hdfs hdfs

分类:Java | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 111

利用python ipset来设置linux防火墙黑白名单的方法

作者:yihaomen 日期:2019-10-22

方便从数据库获取设置的黑白名单，用python来实现动态增加或者删除ip列表的方法。python 脚本实现

Tags: ipset ipset python python

分类:Python/Django | 固定链接 | 评论: 2 | 引用: 0 | 查看次数: 112

用注解生成整个系统的权限菜单等数据

作者:yihaomen 日期:2019-09-27

系统大了之后，有很多地方需要权限，菜单控制，手工在数据库里添加那是实在没办法的时候才那么做，其实完全可以在项目开始前就规划好，怎么定义菜单，权限，然后用注解实现，在程序中去扫描这个注解得到相应的数据。下面是几个参考类

分类:Java | 固定链接 | 评论: 2 | 引用: 0 | 查看次数: 96

springboot整合jsp,thymeleaf.源代码下载

作者:yihaomen 日期:2019-09-26

在整合项目过程中，还有可能遇到有用 jsp 写的，有用thymeleaf写的。这时候也需要整合. 整合方式很简单，spring mvc 本身就支持，所以在springboot中一样支持，只不过是xml配置，变成了一个启动时加载的类而已。在我的例子用的是AppConfig类.

Tags: jsp jsp thymeleaf thymeleaf

分类:Java | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 105

springboot 同时整合hibernate JPA, mybatis代码下载

作者:yihaomen 日期:2019-09-25

有时候项目需要，或者迁移仙项目，或者整合几个不同的项目，很有可能遇到需要将hibernate, mybatis 共存的情况, 简单搭建了一个springboot同时用hibernate,mybatis的架子，有兴趣的，可以参考下.

分类:Java | 固定链接 | 评论: 2 | 引用: 0 | 查看次数: 225

ieok.com即将关闭

作者:yihaomen 日期:2019-09-24

今天接到阿里云的电话，以及邮件通知，要关闭我的ieok.com的备案，因为我是个人备案，不能放公司网站，但熟悉我的朋友都知道，我这个网站只是用来做django演示的，因为这是我用django做的一个公司网站。但阿里要我自己关闭。我找客户聊了，还是要我关闭。

分类:My Didary | 固定链接 | 评论: 2 | 引用: 0 | 查看次数: 103

Centos 高并发下可能用到的配置

作者:yihaomen 日期:2019-09-23

Centos 高并发下可能用到的配置, 配置 /etc/sysctl.conf 文件

程序代码

###############customize config###################
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_syn_retries = 2

Tags: 高并发高并发

分类:linux/unix | 固定链接 | 评论: 5 | 引用: 0 | 查看次数: 217

Centos7 安装 open-vswitch图文完整版

作者:yihaomen 日期:2019-09-22

open-vswitch常用来在linux中配置网络通信用，今天主要配置它用来实现docker在不同机器之间的通信。我在虚拟机里面测试直接在 /home/root/download目录下操作的，特别要注意目录，否则很多命令会报错的，以下命令的操作都在这个目录下进行，参考了网上的一些资料，最终安装过程实践如下：

Tags: open-vswitch open-vswitch

分类:linux/unix | 固定链接 | 评论: 1 | 引用: 0 | 查看次数: 114

Redis docker启动并开启远程密码连接服务

作者:yihaomen 日期:2019-09-21

安装docker之后,直接pull 官网的 redis, 我这里用的5.0.5版本做测试, 其他版本类似. 采用自己定义的配置文件，自己定义的数据目录.

Tags: redis redis docker docker

分类:Architect | 固定链接 | 评论: 2 | 引用: 0 | 查看次数: 244

logback统一扩展打印自定义属性字段的方式

作者:yihaomen 日期:2019-09-16

记录下采用logback统一扩展打印自定义属性字段的方式, 通常打印日志，自己可以采用拼字符串的方式，或者String.format等格式化字符串方式。但其实logback还提供了一种比较好玩的方式MDC. 特使是针对那些格式比较统一的日志，在WEB中用一个拦截器就可以实现.

分类:Java | 固定链接 | 评论: 2 | 引用: 0 | 查看次数: 416

django-uuslug汉字转拼音出现的小问题,可能是BUG.

作者:yihaomen 日期:2019-09-03

在用python/Django开发网站的过程中，很多人为了更友好的SEO, 会采用将汉字转换成拼音的方式放在url里面，这样对搜索引擎比较友好。我今天也尝试了这么一个第三方库 django-uuslug, 不过我一测试就出问题了。好像是老外不懂中文，做出来的一个bug.

Tags: django-uuslug django-uuslug

分类:Python/Django | 固定链接 | 评论: 1 | 引用: 0 | 查看次数: 137

记录自己常用在kibana中用的DSL查询语句，以后方便参考

作者:yihaomen 日期:2019-08-29

在查询elasticsearch中的数据的时候，经常用kibana中的DEV工具来查询，一般来说，这个工具会缓存你用过的dsl语句，但有时候不小心清理了浏览器缓存或者在另外一台机登录kibana，这些DSL就没有了，所以干脆记录在这里，也方便以后参考，特别是用 elasticsearch low level api的时候，就更有用了，因为就是原生的dsl查询语句。

分类:Java | 固定链接 | 评论: 1 | 引用: 0 | 查看次数: 469