Python操作ES的方式及與Mysql數據同步的方法

這篇文章主要介紹了Python操作ES的方式及與Mysql數據同步的方法的相關知識，內容詳細易懂，操作簡單快捷，具有一定借鑒價值，相信大家閱讀完這篇Python操作ES的方式及與Mysql數據同步的方法文章都會有所收獲，下面我們一起來看看吧。

Python操作Elasticsearch的兩種方式

# 官方提供的：Elasticsearch
# pip install elasticsearch
# GUI：pyhon能做圖形化界面編程嗎？
	-Tkinter
  -pyqt
# 使用（查詢是重點）
# pip3 install elasticsearch
https://github.com/elastic/elasticsearch-py
from elasticsearch import Elasticsearch
obj = Elasticsearch(['127.0.0.1:9200','192.168.1.1:9200','192.168.1.2:9200'],)
# 創建索引（Index）
# body:用來干什么？mapping：{},setting:{}
# result = obj.indices.create(index='user',ignore=400)
# print(result)
# 刪除索引
# result = obj.indices.delete(index='user', ignore=[400, 404])
# 插入和查詢數據（文檔的增刪查改），是最重要
# 插入數據
# POST news/politics/1
# {'userid': '1', 'username': 'lqz','password':'123'}
# data = {'userid': '1', 'username': 'lqz','password':'123'}
# result = obj.create(index='news', doc_type='politics', id=1, body=data)
# print(result)
# 更新數據
'''
不用doc包裹會報錯
ActionRequestValidationException[Validation Failed: 1: script or doc is missing
'''
# data ={'doc':{'userid': '1', 'username': 'lqz','password':'123ee','test':'test'}}
# result = obj.update(index='news', doc_type='politics', body=data, id=1)
# print(result)
# 刪除數據
# result = obj.delete(index='news', doc_type='politics', id=1)
# 查詢
# 查找所有文檔
# query = {'query': {'match_all': {}}}
#  查找名字叫做jack的所有文檔
# query = {'query': {'match': {'desc': '嬌憨可愛'}}}
# query = {'query': {'term': {'from': 'sheng'}}}
query = {'query': {'term': {'name': '娘子'}}}
# term和match的區別
# term是短語查詢，不會對term的東西進行分詞
# match 會多match的東西進行分詞，再去查詢
# 查找年齡大于11的所有文檔
# allDoc = obj.search(index='lqz', doc_type='doc', body=query)
allDoc = obj.search(index='lqz', doc_type='doc', body=query)
print(allDoc)
import json
print(json.dumps(allDoc))
# print(allDoc['hits']['hits'][0]['_source'])
# 如何集成到django項目中：創建索引，提前創建好就行了
# 插入數據，查詢數據，修改數據
# query = {'query': {'term': {'name': '娘子'}}}
# allDoc = obj.search(index='lqz', doc_type='doc', body=query)
# json格式直接返回
# saas ：軟件即服務，不是用人家服務，而是寫服務給別人用----》正常的開發
# 輿情監測系統：（爬蟲）
# 只監控微博---》宜家：微博，百度貼吧，上市公司
# 公安：負面的，---》追蹤到哪個用戶發的---》找上門了
# qq群，微信群----》輿情監控（第三方做不了，騰訊出的輿情監控，第三方機構跟騰訊合作，騰訊提供接口，第三方公司做）
# 平臺開發出來，別人買服務---》買一年的微博關鍵字監控

ERP：公司財務，供應鏈

某個大公司，金蝶，用友，開發了軟件----》你們公司自己買服務器---》軟件跑在你服務器上
saas模式：公司買服務，10年服務----》賬號密碼---》登進去就能操作---》出了問題找用友---》服務器在別人那---》政務云，各種云---所有東西上云

---政府花錢買的東西---》用友敢泄露嗎？
---未來的云計算---》只能能上網---》計算機運算能力有限---》上云買服務---》計算1+。。。+100  ---》買了計算服務，直接拿到結果 

# 第二種使用方式
# https://github.com/elastic/elasticsearch-dsl-py
# pip3 install elasticsearch-dsl
from datetime import datetime
from elasticsearch_dsl import Document, Date, Nested, Boolean,analyzer, InnerDoc, Completion, Keyword, Text,Integer
from elasticsearch_dsl.connections import connections
connections.create_connection(hosts=["localhost"])
class Article(Document):
    title = Text(analyzer='ik_max_word', search_analyzer="ik_max_word", fields={'title': Keyword()})
    author = Text()
    class Index:
        name = 'myindex'  # 索引名
    def save(self, ** kwargs):
        return super(Article, self).save(** kwargs)
if __name__ == '__main__':
    # Article.init()  # 創建映射
    # 保存數據
    # article = Article()
    # article.title = "測試數據"
    # article.author = "egon"
    # article.save()  # 數據就保存了
    #查詢數據
    # s=Article.search()
    # s = s.filter('match', title="測試")
    # results = s.execute()
    # # 類比queryset對象，列表中一個個對象
    # # es中叫Response，當成一個列表，列表中放一個個對象
    # print(results)
    #刪除數據
    # s = Article.search()
    # s = s.filter('match', title="測試").delete()
    #修改數據
    s = Article().search()
    s = s.filter('match', title="測試")
    results = s.execute()
    print(results[0])
    results[0].title="xxx"
    results[0].save()
    # 其他操作，參見文檔

mysql和Elasticsearch同步數據

# 只要article表插入一條數據，就自動同步到es中
# 第一種方案：
	-每當aritcle表插入一條數據（視圖類中，Article.objects.create()，update）
  -往es中插入一條
  -缺陷：代碼耦合度高，改好多地方
# 第二種方案：
	-重寫create方法，重寫update方法
  -缺陷：同步操作---》es中插入必須返回結果才能繼續往下走
# 第三種方案：
	-用celery，做異步
  -缺陷：引入celery，還得有消息隊列。。。
# 第四種方案：（用的最多）
	-重寫create方法，重寫update方法，用信號存入，異步操作
  -缺陷：有代碼侵入
# 第五種方案：（項目不寫代碼，自動同步），第三方開源的插件
	-https://github.com/siddontang/go-mysql-elasticsearch----go寫
  -你可以用python重寫一個，放到git上給別人用（讀了mysql的日志）
  -跟平臺無關，跟語言無關
  -如何使用：
  	-源碼下載---》交叉編譯---》可執行文件--》運行起來--》配置文件配好，就完事了
    # 配置文件
    [[source]]
    schema = "數據庫名"
    tables = ["article"]
    [[rule]]
    schema = "數據庫名"
    table = "表明"
    index = "索引名"
    type = "類型名"
  # 缺陷：
  	-es跟mysql同步時，不希望把表所有字段都同步，mysql的多個表對著es的一個類型
  # 話術升級：
  	-一開始同步
    -用了開源插件（讀取mysql日志，連接上es，進行同步）
    -用信號自己寫的
    -再高端：仿著他的邏輯，用python自己寫的，----》（把這個東西開源出來）

haystack的使用

• django上的一個第三方模塊 ---》你使用過的django第三方模塊有哪些？

• 可以在django上實現全文檢索

• 相當于orm--》對接es，solr，whoosh

• http://www.5655pk.com/article/218631.htm

• 不支持es，6以上版本

• haystack+Elasticsearch實現全文檢索

• es的原生操作：ELasticsearch   Elasticsearch-dsl

Redis補充

#1  只有5種數據結構：
	-多種數據結構：字符串，hash，列表，集合，有序集合
#2  單線程，速度為什么這么快？
  -本質還是因為是內存數據庫
  -epoll模型（io多路復用）
  -單線程，沒有線程，進程間的通信
#3 linux上 安裝redis#下載
  https://redis.io/download/
  #解壓
  tar -xzf redis-5.0.7.tar.gz
  #建立軟連接
  ln -s redis-5.0.7 redis
  cd redis
  make&&make install
  # bin路徑下幾個命令：redis-cli,redis-server,redis-sentinel
  # 在任意位置能夠執行redis-server 如何做？配置環境變量
#4  啟動redis的三種方式
  	-方式一：(一般不用，沒有配置文件)
    	-redis-server
    -方式二：（用的也很少）
    	redis-serve --port 6380
    -方式三：（都用這種，配置文件）
    	daemonize yes #是否以守護進程啟動
      pidfile /var/run/redis.pid   #進程號的位置，刪除
      port 6379    #端口號
      dir "/opt/soft/redis/data"  #工作目錄
      logfile 6379.log #日志位置  
      # 啟動：redis-server redis.conf1
#5 客戶端連接
  redis-cli -h 127.0.0.1 -p 6379
#6 使用場景
  -看md文檔

關于“Python操作ES的方式及與Mysql數據同步的方法”這篇文章的內容就介紹到這里，感謝各位的閱讀！相信大家對“Python操作ES的方式及與Mysql數據同步的方法”知識都有一定的了解，大家如果還想學習更多知識，歡迎關注億速云行業資訊頻道。